論文の概要: Diagnosing AI Explanation Methods with Folk Concepts of Behavior
- arxiv url: http://arxiv.org/abs/2201.11239v5
- Date: Tue, 14 Nov 2023 11:32:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 19:37:52.515375
- Title: Diagnosing AI Explanation Methods with Folk Concepts of Behavior
- Title(参考訳): 行動概念を用いたAI説明手法の診断
- Authors: Alon Jacovi, Jasmijn Bastings, Sebastian Gehrmann, Yoav Goldberg,
Katja Filippova
- Abstract要約: 我々は「成功」は、その説明がどんな情報を含むかだけでなく、人間の説明者がどのような情報から理解するかにも依存すると考えている。
我々は、人間の説明による社会的帰属の枠組みとして、行動の民意的概念を用いる。
- 参考スコア(独自算出の注目度): 70.10183435379162
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate a formalism for the conditions of a successful explanation of
AI. We consider "success" to depend not only on what information the
explanation contains, but also on what information the human explainee
understands from it. Theory of mind literature discusses the folk concepts that
humans use to understand and generalize behavior. We posit that folk concepts
of behavior provide us with a "language" that humans understand behavior with.
We use these folk concepts as a framework of social attribution by the human
explainee - the information constructs that humans are likely to comprehend
from explanations - by introducing a blueprint for an explanatory narrative
(Figure 1) that explains AI behavior with these constructs. We then demonstrate
that many XAI methods today can be mapped to folk concepts of behavior in a
qualitative evaluation. This allows us to uncover their failure modes that
prevent current methods from explaining successfully - i.e., the information
constructs that are missing for any given XAI method, and whose inclusion can
decrease the likelihood of misunderstanding AI behavior.
- Abstract(参考訳): 我々は,AIの説明が成功する条件に対する形式主義について検討する。
我々は「成功」は、説明がどんな情報を含んでいるかだけでなく、説明者が理解している情報にも依存すると考える。
心の文学の理論は、人間が行動を理解し、一般化するために使用する民間概念を論じる。
行動の民俗概念は、人間が行動を理解する「言語」をもたらすと仮定する。
我々は、これらの民俗概念を、説明者による社会的帰属の枠組み(説明から人間が理解しそうな情報構成)として、説明的物語の青写真(図1)を導入し、これらの構成でaiの行動を説明する。
そして,今日,多くのXAI手法が質的評価において民生的な行動概念にマッピング可能であることを示す。
これにより、現在のメソッドがうまく説明できないよう、障害モードを明らかにすることができます。つまり、任意のXAIメソッドに欠けている情報構造であり、AIの動作が誤解される可能性を減らすことができます。
関連論文リスト
- Explaining Explaining [0.882727051273924]
高度なAIシステムに自信を持つ人々にとって、説明は鍵となる。
マシンラーニングベースのシステムは、通常はブラックボックスであるため、説明できない。
認知エージェント開発におけるハイブリッドアプローチについて述べる。
論文 参考訳(メタデータ) (2024-09-26T16:55:44Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳(メタデータ) (2022-10-31T19:20:22Z) - Alterfactual Explanations -- The Relevance of Irrelevance for Explaining
AI Systems [0.9542023122304099]
我々は、決定を完全に理解するためには、関連する特徴に関する知識だけでなく、無関係な情報の認識もAIシステムのユーザーのメンタルモデルの作成に大きく貢献すると主張している。
私たちのアプローチは、Alterfactual Explanations(Alterfactual Explanations)と呼ばれ、AIの入力の無関係な特徴が変更された別の現実を示すことに基づいています。
我々は,AIの推論のさまざまな側面を,反事実的説明法よりも理解するために,人工的説明が適していることを示す。
論文 参考訳(メタデータ) (2022-07-19T16:20:37Z) - A psychological theory of explainability [5.715103211247915]
本稿では,XAI の説明の最も一般的な形式である,サリエンシマップから人間がどのように結論を導き出すかの理論を提案する。
私たちの理論は、人間の説明が欠如していることは、AIが自分自身に同様の決定をすることを期待していること、そして彼らが与える説明と比較して説明を解釈していることを示唆している。
論文 参考訳(メタデータ) (2022-05-17T15:52:24Z) - CX-ToM: Counterfactual Explanations with Theory-of-Mind for Enhancing
Human Trust in Image Recognition Models [84.32751938563426]
我々は、深層畳み込みニューラルネットワーク(CNN)による決定を説明するための、新しい説明可能なAI(XAI)フレームワークを提案する。
単発応答として説明を生成するXAIの現在の手法とは対照的に,我々は反復的な通信プロセスとして説明を行う。
本フレームワークは,機械の心と人間の心の相違を媒介し,対話における説明文のシーケンスを生成する。
論文 参考訳(メタデータ) (2021-09-03T09:46:20Z) - The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。
その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
論文 参考訳(メタデータ) (2021-07-28T17:32:04Z) - Mitigating belief projection in explainable artificial intelligence via
Bayesian Teaching [4.864819846886143]
説明可能なAI(XAI)は人間の理解を改善しようとするが、人々がよく知らないエージェントをどう考えるかを説明することは滅多にない。
ベイジアン・インストラクション(ベイジアン・インストラクション)を通したヒューマン・インストラクタのモデル化について提案する。
論文 参考訳(メタデータ) (2021-02-07T21:23:24Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳(メタデータ) (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。