論文の概要: Evaluating Model Explanations without Ground Truth

• arxiv url: http://arxiv.org/abs/2505.10399v1
• Date: Thu, 15 May 2025 15:22:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.380832
• Title: Evaluating Model Explanations without Ground Truth
• Title（参考訳）: 地中真実を含まないモデル記述の評価
• Authors: Kaivalya Rawal, Zihao Fu, Eoin Delaney, Chris Russell,
• Abstract要約: 本稿では,モデル説明の評価と比較を行うためのAXE(Agnostic eXplanation Evaluation framework)を提案する。 AXEは、比較のために理想的な地味な説明にアクセスする必要はなく、モデル感度に依存しています。
• 参考スコア（独自算出の注目度）: 12.35100095333756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There can be many competing and contradictory explanations for a single model prediction, making it difficult to select which one to use. Current explanation evaluation frameworks measure quality by comparing against ideal "ground-truth" explanations, or by verifying model sensitivity to important inputs. We outline the limitations of these approaches, and propose three desirable principles to ground the future development of explanation evaluation strategies for local feature importance explanations. We propose a ground-truth Agnostic eXplanation Evaluation framework (AXE) for evaluating and comparing model explanations that satisfies these principles. Unlike prior approaches, AXE does not require access to ideal ground-truth explanations for comparison, or rely on model sensitivity - providing an independent measure of explanation quality. We verify AXE by comparing with baselines, and show how it can be used to detect explanation fairwashing. Our code is available at https://github.com/KaiRawal/Evaluating-Model-Explanations-without-Ground-Truth.
• Abstract（参考訳）: 一つのモデル予測に対して競合する、矛盾する説明が多数あり、どれを使うかを選択するのが難しくなる。 現在の説明評価フレームワークは、理想的な「真実」の説明と比較したり、重要な入力に対するモデルの感度を検証することによって品質を測定する。 本研究は,これらのアプローチの限界を概説し,地域特長説明のための説明評価戦略の今後の発展を基礎とする3つの望ましい原則を提案する。 本稿では,これらの原則を満たすモデル説明の評価と比較を行うための,AXE(Agnostic eXplanation Evaluation framework)を提案する。 従来のアプローチとは異なり、AXEは比較のために理想的な基礎的説明へのアクセスを必要としないし、モデルの感度に依存している。 ベースラインとの比較によりAXEを検証するとともに,説明フェアウォッシングの検出方法を示す。 私たちのコードはhttps://github.com/KaiRawal/Evaluating-Model-Explanations-without-Ground-Truthで利用可能です。

関連論文リスト

• Estimation of Concept Explanations Should be Uncertainty Aware [39.598213804572396]
  概念説明(Concept Explanations)と呼ばれる特定の概念について研究し、人間の理解可能な概念を用いてモデルを解釈することを目的としている。 簡単な解釈で人気があるが、概念的な説明は騒々しいことが知られている。 本稿では,これらの問題に対処する不確実性を考慮したベイズ推定手法を提案する。
  論文  参考訳（メタデータ） (2023-12-13T11:17:27Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• BELLA: Black box model Explanations by Local Linear Approximations [10.71090921516854]
  BELLAは回帰ブラックボックスモデルの個々の予測を説明するための決定論的モデルに依存しないポストホックアプローチである。 BELLAは事実と反事実の両方を説明することができる。
  論文  参考訳（メタデータ） (2023-05-18T21:22:23Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Evaluation of Local Model-Agnostic Explanations Using Ground Truth [4.278336455989584]
  説明手法は人為的手法を用いて一般的に評価される。 本稿では,局所モデルに依存しない説明手法に関する機能的評価手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T13:47:31Z)
• Search Methods for Sufficient, Socially-Aligned Feature Importance Explanations with In-Distribution Counterfactuals [72.00815192668193]
  特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。 FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
  論文  参考訳（メタデータ） (2021-06-01T20:36:48Z)
• To trust or not to trust an explanation: using LEAF to evaluate local linear XAI methods [0.0]
  実際に説明を定量的に評価する方法については合意がない。 説明は一般にブラックボックスモデルの検査にのみ使用され、意思決定支援としての説明の積極的な使用は一般的に見過ごされる。 XAIへの多くのアプローチのうち、広く採用されているパラダイムは、局所線形説明(Local Linear Explanations)である。 これらの手法は不安定な説明、約束された理論特性からの実際の実装のばらつき、間違ったラベルの説明など、多くの欠陥に悩まされている。 これは標準的かつ偏見のない評価手順の必要性を強調している。
  論文  参考訳（メタデータ） (2021-06-01T13:14:12Z)
• Evaluating Explanations for Reading Comprehension with Realistic Counterfactuals [26.641834518599303]
  本稿では,機械読解タスクの説明を評価する手法を提案する。 説明は、現実的な反現実的な入力シナリオのセットに関して、RCモデルのハイレベルな振る舞いを理解することを可能にします。 本分析は,トークンレベルの属性よりもRCに適していることを示す。
  論文  参考訳（メタデータ） (2021-04-09T17:55:21Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。