論文の概要: Revisiting Sanity Checks for Saliency Maps

• arxiv url: http://arxiv.org/abs/2110.14297v1
• Date: Wed, 27 Oct 2021 09:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 00:17:56.857002
• Title: Revisiting Sanity Checks for Saliency Maps
• Title（参考訳）: 衛生マップの正当性チェックの再検討
• Authors: Gal Yona, Daniel Greenfeld
• Abstract要約: Saliencyメソッドは、モデルデバッグと説明可能性のための一般的なアプローチである。 一般的なサリエンシ手法は、説明可能性の目的では使用すべきでないと論じる。 それらの結論のいくつかは、サリエンシメソッド自体に対する批判よりも、タスクの成果物である可能性があることを示す。
• 参考スコア（独自算出の注目度）: 7.310043452300736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Saliency methods are a popular approach for model debugging and explainability. However, in the absence of ground-truth data for what the correct maps should be, evaluating and comparing different approaches remains a long-standing challenge. The sanity checks methodology of Adebayo et al [Neurips 2018] has sought to address this challenge. They argue that some popular saliency methods should not be used for explainability purposes since the maps they produce are not sensitive to the underlying model that is to be explained. Through a causal re-framing of their objective, we argue that their empirical evaluation does not fully establish these conclusions, due to a form of confounding introduced by the tasks they evaluate on. Through various experiments on simple custom tasks we demonstrate that some of their conclusions may indeed be artifacts of the tasks more than a criticism of the saliency methods themselves. More broadly, our work challenges the utility of the sanity check methodology, and further highlights that saliency map evaluation beyond ad-hoc visual examination remains a fundamental challenge.
• Abstract（参考訳）: Saliencyメソッドは、モデルデバッギングと説明可能性のための一般的なアプローチである。 しかし、正しい地図が何であるかの正確なデータがない場合、異なるアプローチを評価し比較することは長年の課題である。 Adebayoら[Neurips 2018]の健全性チェック手法はこの課題に対処しようと試みている。 彼らは、それらが生成するマップが説明すべき基礎モデルに敏感でないため、説明可能性のためにいくつかの一般的なサリエンシ手法は使用すべきでないと主張している。 彼らの目的の因果的再フレーミングを通じて、それらの経験的評価は、彼らが評価したタスクによって引き起こされる欠点の形で、これらの結論を完全には確立していないと論じる。 単純なカスタムタスクに関する様々な実験を通じて、これらの結論のいくつかは、サルマンシーメソッド自体に対する批判以上のタスクの成果物である可能性があることを実証する。 より広範に、我々の研究は、衛生チェック手法の活用に挑戦し、さらに、アドホックな視覚検査以外の唾液マップ評価が根本的な課題であることを示している。

関連論文リスト

• Deep Learning-Based Object Pose Estimation: A Comprehensive Survey [73.74933379151419]
  ディープラーニングに基づくオブジェクトポーズ推定の最近の進歩について論じる。 また、複数の入力データモダリティ、出力ポーズの自由度、オブジェクト特性、下流タスクについても調査した。
  論文  参考訳（メタデータ） (2024-05-13T14:44:22Z)
• Toward Understanding the Disagreement Problem in Neural Network Feature Attribution [0.8057006406834466]
  ニューラルネットワークは 複雑なパターンと関係を 生のデータから識別する これらのブラックボックスモデルの内部動作を理解することは、依然として難しいが、高い意思決定には不可欠である。 我々の研究は、説明の基本的な、分布的な振る舞いを調査することによって、この混乱に対処する。
  論文  参考訳（メタデータ） (2024-04-17T12:45:59Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Assumption violations in causal discovery and the robustness of score matching [38.60630271550033]
  本稿では、最近の因果発見手法の観測データに対する実証的性能を広範囲にベンチマークする。 スコアマッチングに基づく手法は、推定されたグラフの偽陽性と偽陰性率において驚くべき性能を示すことを示す。 本論文は,因果発見手法の評価のための新しい基準を策定することを願っている。
  論文  参考訳（メタデータ） (2023-10-20T09:56:07Z)
• The Blame Problem in Evaluating Local Explanations, and How to Tackle it [0.0]
  最適評価基準が欠如しているため、新しい説明可能性技術を開発するための障壁は低い。 厳格な措置がなければ、新しい説明手法が前任者を大きく上回っているかどうかの具体的な証拠は得られない。
  論文  参考訳（メタデータ） (2023-10-05T11:21:49Z)
• Good-looking but Lacking Faithfulness: Understanding Local Explanation Methods through Trend-based Testing [13.076171586649528]
  我々は,説明手法の忠実さを評価し,従来の信頼度試験がランダムな支配問題に遭遇していることを見出した。 傾向試験に適合し, 複雑なデータに対する説明手法を初めて評価した。
  論文  参考訳（メタデータ） (2023-09-09T14:44:39Z)
• Shortcomings of Top-Down Randomization-Based Sanity Checks for Evaluations of Deep Neural Network Explanations [67.40641255908443]
  モデルランダム化に基づく正当性チェックの限界を,説明書の評価のために同定する。 トップダウンモデルランダム化は、フォワードパスアクティベーションのスケールを高い確率で保存する。
  論文  参考訳（メタデータ） (2022-11-22T18:52:38Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• Counterfactual Evaluation for Explainable AI [21.055319253405603]
  そこで本稿では, 文献的推論の観点から, 説明の忠実さを評価する新しい手法を提案する。 離散シナリオと連続シナリオの両方において適切な反事実を見つけるために2つのアルゴリズムを導入し、取得した反事実を用いて忠実度を測定する。
  論文  参考訳（メタデータ） (2021-09-05T01:38:49Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)
• Latent Opinions Transfer Network for Target-Oriented Opinion Words Extraction [63.70885228396077]
  資源豊富なレビュー評価分類データセットから低リソースタスクTOWEへ意見知識を伝達する新しいモデルを提案する。 我々のモデルは、他の最先端手法よりも優れた性能を達成し、意見の知識を伝達することなく、ベースモデルを大幅に上回る。
  論文  参考訳（メタデータ） (2020-01-07T11:50:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。