論文の概要: The XAI Alignment Problem: Rethinking How Should We Evaluate
Human-Centered AI Explainability Techniques
- arxiv url: http://arxiv.org/abs/2303.17707v2
- Date: Thu, 18 May 2023 18:44:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 18:47:02.321244
- Title: The XAI Alignment Problem: Rethinking How Should We Evaluate
Human-Centered AI Explainability Techniques
- Title(参考訳): XAIアライメント問題:人間中心のAI説明可能性技術をどのように評価すべきかを再考する
- Authors: Weina Jin and Xiaoxiao Li and Ghassan Hamarneh
- Abstract要約: 可視性は、機械の説明が人間の説明といかに妥当かを測定する。
XAIアルゴリズムは機械の説明を規則化し、人間の説明と全く同じ内容を表現する。
- 参考スコア(独自算出の注目度): 25.40212979946771
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Setting proper evaluation objectives for explainable artificial intelligence
(XAI) is vital for making XAI algorithms follow human communication norms,
support human reasoning processes, and fulfill human needs for AI explanations.
In this position paper, we examine the most pervasive human-grounded concept in
XAI evaluation, explanation plausibility. Plausibility measures how reasonable
the machine explanation is compared to the human explanation. Plausibility has
been conventionally formulated as an important evaluation objective for AI
explainability tasks. We argue against this idea, and show how optimizing and
evaluating XAI for plausibility is sometimes harmful, and always ineffective in
achieving model understandability, transparency, and trustworthiness.
Specifically, evaluating XAI algorithms for plausibility regularizes the
machine explanation to express exactly the same content as human explanation,
which deviates from the fundamental motivation for humans to explain:
expressing similar or alternative reasoning trajectories while conforming to
understandable forms or language. Optimizing XAI for plausibility regardless of
the model decision correctness also jeopardizes model trustworthiness, because
doing so breaks an important assumption in human-human explanation that
plausible explanations typically imply correct decisions, and vice versa; and
violating this assumption eventually leads to either undertrust or overtrust of
AI models. Instead of being the end goal in XAI evaluation, plausibility can
serve as an intermediate computational proxy for the human process of
interpreting explanations to optimize the utility of XAI. We further highlight
the importance of explainability-specific evaluation objectives by
differentiating the AI explanation task from the object localization task.
- Abstract(参考訳): 説明可能な人工知能(XAI)のための適切な評価目標を設定することは、XAIアルゴリズムを人間のコミュニケーション規範に従い、人間の推論プロセスをサポートし、AI説明に対する人間の要求を満たすために不可欠である。
本稿では,XAI 評価において最も広範に普及した人為的な概念,説明可能性について検討する。
可視性は、機械の説明が人間の説明といかに妥当かを測定する。
可塑性は従来,AI説明可能性タスクの重要な評価対象として定式化されてきた。
我々は、この考え方に反対し、XAIの可視性に対する最適化と評価が有害である場合があり、モデル理解性、透明性、信頼性を達成する上では常に効果がないことを示す。
具体的には、XAIアルゴリズムの評価により、機械の説明が人間の説明と全く同じ内容を表現するように正規化され、人間の説明の基本的動機から逸脱する: 類似または代替的な推論軌跡を、理解可能な形式や言語に順応しながら表現する。
モデル決定の正確性に関わらず、XAIの妥当性を最適化することは、モデル信頼性を損なう。それは、人間と人間の説明において、もっともらしい説明が典型的に正しい決定を暗示する、という重要な仮定を破るからである。
XAI評価の最終目標である代わりに、XAIの有用性を最適化するために説明を解釈する人間のプロセスの中間的な計算プロキシとして機能することができる。
さらに、AI説明タスクとオブジェクトのローカライゼーションタスクを区別することで、説明可能性固有の評価対象の重要性を強調した。
関連論文リスト
- Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - The future of human-centric eXplainable Artificial Intelligence (XAI) is
not post-hoc explanations [0.6445605125467573]
人間中心のXAIにおける現在のアプローチは、単一の説明器に依存する傾向がある。
我々は、ポストホックな説明可能性から解釈可能なニューラルネットワークアーキテクチャの設計に移行することを提案する。
論文 参考訳(メタデータ) (2023-07-01T15:24:47Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - In Search of Verifiability: Explanations Rarely Enable Complementary
Performance in AI-Advised Decision Making [25.18203172421461]
説明は、人間の意思決定者がAIの予測の正しさを検証できる範囲でのみ有用である、と我々は主張する。
また、補完性能の目的と適切な依存度を比較し、後者を結果段階と戦略段階の信頼度の概念に分解する。
論文 参考訳(メタデータ) (2023-05-12T18:28:04Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳(メタデータ) (2022-10-31T19:20:22Z) - CX-ToM: Counterfactual Explanations with Theory-of-Mind for Enhancing
Human Trust in Image Recognition Models [84.32751938563426]
我々は、深層畳み込みニューラルネットワーク(CNN)による決定を説明するための、新しい説明可能なAI(XAI)フレームワークを提案する。
単発応答として説明を生成するXAIの現在の手法とは対照的に,我々は反復的な通信プロセスとして説明を行う。
本フレームワークは,機械の心と人間の心の相違を媒介し,対話における説明文のシーケンスを生成する。
論文 参考訳(メタデータ) (2021-09-03T09:46:20Z) - A Turing Test for Transparency [0.0]
説明可能な人工知能(XAI)の中心的な目標は、人間とAIのインタラクションにおける信頼関係を改善することである。
最近の実証的な証拠は、説明が反対の効果を持つことを示している。
この効果はXAIの目的に挑戦し、透明なAI手法の責任ある使用には、人間が人間の説明から生成された機械を区別する能力を考慮する必要があることを示唆している。
論文 参考訳(メタデータ) (2021-06-21T20:09:40Z) - Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。
現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。
本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
論文 参考訳(メタデータ) (2021-06-14T20:48:48Z) - A Comparative Approach to Explainable Artificial Intelligence Methods in
Application to High-Dimensional Electronic Health Records: Examining the
Usability of XAI [0.0]
XAIは、コミュニケーション手段によって人間に達成される信頼の実証的要因を生み出すことを目的としている。
機械を信頼して人間の生き方に向くというイデオロギーは倫理的な混乱を引き起こします。
XAIメソッドは、ローカルレベルとグローバルレベルの両方で出力される特定のモデルに対する機能貢献を視覚化します。
論文 参考訳(メタデータ) (2021-03-08T18:15:52Z) - The role of explainability in creating trustworthy artificial
intelligence for health care: a comprehensive survey of the terminology,
design choices, and evaluation strategies [1.2762298148425795]
透明性の欠如は、医療におけるAIシステムの実装における主要な障壁の1つとして認識されている。
我々は最近の文献をレビューし、説明可能なAIシステムの設計について研究者や実践者にガイダンスを提供する。
我々は、説明可能なモデリングが信頼できるAIに貢献できると結論づけるが、説明可能性の利点は実際に証明する必要がある。
論文 参考訳(メタデータ) (2020-07-31T09:08:27Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳(メタデータ) (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。