論文の概要: Not All Explanations are Created Equal: Investigating the Pitfalls of Current XAI Evaluation

• arxiv url: http://arxiv.org/abs/2511.03730v1
• Date: Sat, 27 Sep 2025 08:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-07 19:06:32.136498
• Title: Not All Explanations are Created Equal: Investigating the Pitfalls of Current XAI Evaluation
• Title（参考訳）: すべての説明が等しく作成されるわけではない:現在のXAI評価の落とし穴を探る
• Authors: Joe Shymanski, Jacob Brue, Sandip Sen,
• Abstract要約: XAIは、モデルの説明を人間ユーザに提供することによって、現代的なAIモデルに透明性を提供することを目指している。 この分野で行われたほとんどの研究は、説明なしと提案されたソリューションが生み出すものの違いを分析するために、簡単なユーザサーベイを実施している。 品質や正確性に関わらず、ほとんどの説明はユーザの満足度を高めるでしょう。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainable Artificial Intelligence (XAI) aims to create transparency in modern AI models by offering explanations of the models to human users. There are many ways in which researchers have attempted to evaluate the quality of these XAI models, such as user studies or proposed objective metrics like "fidelity". However, these current XAI evaluation techniques are ad hoc at best and not generalizable. Thus, most studies done within this field conduct simple user surveys to analyze the difference between no explanations and those generated by their proposed solution. We do not find this to provide adequate evidence that the explanations generated are of good quality since we believe any kind of explanation will be "better" in most metrics when compared to none at all. Thus, our study looks to highlight this pitfall: most explanations, regardless of quality or correctness, will increase user satisfaction. We also propose that emphasis should be placed on actionable explanations. We demonstrate the validity of both of our claims using an agent assistant to teach chess concepts to users. The results of this chapter will act as a call to action in the field of XAI for more comprehensive evaluation techniques for future research in order to prove explanation quality beyond user satisfaction. Additionally, we present an analysis of the scenarios in which placebic or actionable explanations would be most useful.
• Abstract（参考訳）: 説明可能な人工知能(XAI)は、モデルの説明を人間ユーザに提供することで、現代のAIモデルに透明性を提供することを目的としている。 ユーザスタディや「忠実性」のような客観的な指標の提案など、研究者がこれらのXAIモデルの品質を評価しようとする方法は数多くある。 しかし、これらの現在のXAI評価技術は概ねアドホックであり、一般化はできない。 したがって、この分野で行われたほとんどの研究は、説明なしと提案されたソリューションで生成されたものの違いを分析するために、簡単なユーザサーベイを実施している。 このことは、生成された説明が良い品質であることの十分な証拠として見つからない。 品質や正確性に関わらず、ほとんどの説明はユーザの満足度を高めます。 また、実行可能な説明に重点を置くことを提案する。 我々は,チェスの概念をユーザに教えるエージェントアシスタントを用いて,両者の主張の有効性を実証する。 本章の結果は,ユーザ満足度以上の説明品質を証明するため,今後の研究の総合的な評価手法として,XAI分野における行動の呼びかけとして機能する。 さらに、プレースビックまたは実行可能な説明が最も有用であるシナリオについて分析する。

関連論文リスト

• Fool Me Once? Contrasting Textual and Visual Explanations in a Clinical Decision-Support Setting [43.110187812734864]
  視覚的説明(可用性マップ)、自然言語の説明、両方のモダリティの組み合わせの3種類の説明を評価した。 テキストに基づく説明は、高い信頼度をもたらすことが分かっており、従順マップと組み合わせることで軽減される。 また、説明の質、すなわち、それがどれだけ事実的に正しい情報であり、それがAIの正しさとどの程度一致しているかが、異なる説明タイプの有用性に大きく影響していることも観察します。
  論文  参考訳（メタデータ） (2024-10-16T06:43:02Z)
• Are Objective Explanatory Evaluation metrics Trustworthy? An Adversarial Analysis [12.921307214813357]
  本論文の目的は,Pixel Elimination を用いた SHifted Adversaries と呼ばれる新しい説明手法を考案することである。 我々は、SHAPEは、一般的な重要度に基づく視覚的XAI手法の堅牢性と信頼性を測定するために使用される因果的指標を騙す逆説であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T02:39:46Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Responsibility: An Example-based Explainable AI approach via Training Process Inspection [1.4610038284393165]
  我々は、特定の決定に対して最も責任あるトレーニング例を特定する新しいXAIアプローチを提案する。 この例は、"これが私が(AI)学んだことであり、それが私をそのようにしました"、という説明として示されます。 以上の結果から,ヒューマンエンドユーザとセカンダリMLモデルの両方において,責任が精度の向上に有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-09-07T19:30:01Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。