論文の概要: The XAI Alignment Problem: Rethinking How Should We Evaluate
Human-Centered AI Explainability Techniques
- arxiv url: http://arxiv.org/abs/2303.17707v2
- Date: Thu, 18 May 2023 18:44:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 18:47:02.321244
- Title: The XAI Alignment Problem: Rethinking How Should We Evaluate
Human-Centered AI Explainability Techniques
- Title(参考訳): XAIアライメント問題:人間中心のAI説明可能性技術をどのように評価すべきかを再考する
- Authors: Weina Jin and Xiaoxiao Li and Ghassan Hamarneh
- Abstract要約: 可視性は、機械の説明が人間の説明といかに妥当かを測定する。
XAIアルゴリズムは機械の説明を規則化し、人間の説明と全く同じ内容を表現する。
- 参考スコア(独自算出の注目度): 25.40212979946771
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Setting proper evaluation objectives for explainable artificial intelligence
(XAI) is vital for making XAI algorithms follow human communication norms,
support human reasoning processes, and fulfill human needs for AI explanations.
In this position paper, we examine the most pervasive human-grounded concept in
XAI evaluation, explanation plausibility. Plausibility measures how reasonable
the machine explanation is compared to the human explanation. Plausibility has
been conventionally formulated as an important evaluation objective for AI
explainability tasks. We argue against this idea, and show how optimizing and
evaluating XAI for plausibility is sometimes harmful, and always ineffective in
achieving model understandability, transparency, and trustworthiness.
Specifically, evaluating XAI algorithms for plausibility regularizes the
machine explanation to express exactly the same content as human explanation,
which deviates from the fundamental motivation for humans to explain:
expressing similar or alternative reasoning trajectories while conforming to
understandable forms or language. Optimizing XAI for plausibility regardless of
the model decision correctness also jeopardizes model trustworthiness, because
doing so breaks an important assumption in human-human explanation that
plausible explanations typically imply correct decisions, and vice versa; and
violating this assumption eventually leads to either undertrust or overtrust of
AI models. Instead of being the end goal in XAI evaluation, plausibility can
serve as an intermediate computational proxy for the human process of
interpreting explanations to optimize the utility of XAI. We further highlight
the importance of explainability-specific evaluation objectives by
differentiating the AI explanation task from the object localization task.
- Abstract(参考訳): 説明可能な人工知能(XAI)のための適切な評価目標を設定することは、XAIアルゴリズムを人間のコミュニケーション規範に従い、人間の推論プロセスをサポートし、AI説明に対する人間の要求を満たすために不可欠である。
本稿では,XAI 評価において最も広範に普及した人為的な概念,説明可能性について検討する。
可視性は、機械の説明が人間の説明といかに妥当かを測定する。
可塑性は従来,AI説明可能性タスクの重要な評価対象として定式化されてきた。
我々は、この考え方に反対し、XAIの可視性に対する最適化と評価が有害である場合があり、モデル理解性、透明性、信頼性を達成する上では常に効果がないことを示す。
具体的には、XAIアルゴリズムの評価により、機械の説明が人間の説明と全く同じ内容を表現するように正規化され、人間の説明の基本的動機から逸脱する: 類似または代替的な推論軌跡を、理解可能な形式や言語に順応しながら表現する。
モデル決定の正確性に関わらず、XAIの妥当性を最適化することは、モデル信頼性を損なう。それは、人間と人間の説明において、もっともらしい説明が典型的に正しい決定を暗示する、という重要な仮定を破るからである。
XAI評価の最終目標である代わりに、XAIの有用性を最適化するために説明を解釈する人間のプロセスの中間的な計算プロキシとして機能することができる。
さらに、AI説明タスクとオブジェクトのローカライゼーションタスクを区別することで、説明可能性固有の評価対象の重要性を強調した。
関連論文リスト
- Study on the Helpfulness of Explainable Artificial Intelligence [0.0]
法律、ビジネス、倫理的要件は、効果的なXAIの使用を動機付けている。
本稿では,ユーザがプロキシタスクをうまく実行する能力を通じて,XAI手法を評価することを提案する。
言い換えれば、人間の意思決定におけるXAIの有用性について論じる。
論文 参考訳(メタデータ) (2024-10-14T14:03:52Z) - Dataset | Mindset = Explainable AI | Interpretable AI [36.001670039529586]
機械学習(ML)の出力を支える理由を説明するために、与えられたデータセットにさまざまなXAIツールを適用すると、"説明可能な"人工知能(XAI)と"解釈可能なAI(IAI)"が相反する。
我々は、XAIは、IAIのサブセットであると主張する。IAIの概念はデータセットの範囲を超えており、思考の領域を含んでいる。
我々は、これらの概念を明確にし、将来のAI応用と研究における多くの実践者や政策立案者に対して、XAI、IAI、EAI、TAIの基礎を築いたいと考えています。
論文 参考訳(メタデータ) (2024-08-22T14:12:53Z) - Investigating the Role of Explainability and AI Literacy in User Compliance [2.8623940003518156]
XAIの導入により,ユーザのコンプライアンスが向上する一方で,AIリテラシーの影響も受けていることがわかった。
また,AIリテラシーXAIとユーザのコンプライアンスの関係は,ユーザのメンタルモデルが介在していることも確認した。
論文 参考訳(メタデータ) (2024-06-18T14:28:12Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳(メタデータ) (2022-11-12T21:54:05Z) - Transcending XAI Algorithm Boundaries through End-User-Inspired Design [27.864338632191608]
エンドユーザに対する説明責任重視の機能サポートの欠如は、高度なドメインにおけるAIの安全で責任ある使用を妨げる可能性がある。
我々の研究は、エンドユーザーがXAIを使用する際の技術的な問題を根底から解決することで、新たな研究課題がもたらされることを示している。
このようなエンドユーザにインスパイアされた研究質問は、AIを民主化し、クリティカルドメインにおけるAIの責任ある使用を保証することによって、社会的善を促進できる可能性がある。
論文 参考訳(メタデータ) (2022-08-18T09:44:51Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳(メタデータ) (2022-06-22T05:17:33Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳(メタデータ) (2022-01-26T18:53:09Z) - A User-Centred Framework for Explainable Artificial Intelligence in
Human-Robot Interaction [70.11080854486953]
本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。
このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
論文 参考訳(メタデータ) (2021-09-27T09:56:23Z) - Explainable Artificial Intelligence Approaches: A Survey [0.22940141855172028]
人工知能ベースの「ブラックボックス」システム/モデルからの決定の説明力の欠如は、ハイステークアプリケーションでAIを採用するための重要な障害です。
相互ケーススタディ/タスクにより、一般的なXAI(Explainable Artificial Intelligence)手法を実証します。
競争優位性を多角的に分析します。
我々はXAIを媒体として、責任や人間中心のAIへの道を推奨する。
論文 参考訳(メタデータ) (2021-01-23T06:15:34Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。