論文の概要: Explainable AI without Interpretable Model
- arxiv url: http://arxiv.org/abs/2009.13996v1
- Date: Tue, 29 Sep 2020 13:29:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 06:29:00.059830
- Title: Explainable AI without Interpretable Model
- Title(参考訳): 解釈可能なモデルを持たない説明可能なAI
- Authors: Kary Fr\"amling
- Abstract要約: AIシステムが、結果の背後にある理由をエンドユーザに説明できることは、これまで以上に重要になっています。
ほとんどの説明可能なAI(XAI)メソッドは、説明を作成するのに使用できる解釈可能なモデルを抽出することに基づいている。
本論文では,文脈的重要性と実用性(CIU)の概念により,ブラックボックスの結果の人間的な説明を直接生成することが可能となる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explainability has been a challenge in AI for as long as AI has existed. With
the recently increased use of AI in society, it has become more important than
ever that AI systems would be able to explain the reasoning behind their
results also to end-users in situations such as being eliminated from a
recruitment process or having a bank loan application refused by an AI system.
Especially if the AI system has been trained using Machine Learning, it tends
to contain too many parameters for them to be analysed and understood, which
has caused them to be called `black-box' systems. Most Explainable AI (XAI)
methods are based on extracting an interpretable model that can be used for
producing explanations. However, the interpretable model does not necessarily
map accurately to the original black-box model. Furthermore, the
understandability of interpretable models for an end-user remains questionable.
The notions of Contextual Importance and Utility (CIU) presented in this paper
make it possible to produce human-like explanations of black-box outcomes
directly, without creating an interpretable model. Therefore, CIU explanations
map accurately to the black-box model itself. CIU is completely model-agnostic
and can be used with any black-box system. In addition to feature importance,
the utility concept that is well-known in Decision Theory provides a new
dimension to explanations compared to most existing XAI methods. Finally, CIU
can produce explanations at any level of abstraction and using different
vocabularies and other means of interaction, which makes it possible to adjust
explanations and interaction according to the context and to the target users.
- Abstract(参考訳): AIが存在する限り、説明責任はAIの課題だった。
社会におけるAIの利用が最近増加し、採用プロセスから排除されたり、AIシステムによって銀行ローン申請を拒否されたりといった状況において、AIシステムが結果の背後にある理由をエンドユーザにも説明できることは、これまで以上に重要になっている。
特に、AIシステムが機械学習を使ってトレーニングされている場合、分析され理解されるためのパラメータが多すぎる傾向があり、それによって‘ブラックボックス’システムと呼ばれるようになる。
ほとんどの説明可能なAI(XAI)メソッドは、説明を作成するのに使用できる解釈可能なモデルを抽出することに基づいている。
しかし、解釈可能なモデルは必ずしも元のブラックボックスモデルに正確にマッピングするとは限らない。
さらに、エンドユーザに対する解釈可能なモデルの理解性には疑問の余地がある。
本論文では、文脈的重要性と実用性(CIU)の概念により、解釈可能なモデルを作成することなく、ブラックボックス結果の人間的な説明を直接作成することができる。
したがってCIUの説明はブラックボックスモデル自体に正確にマッピングされる。
CIUは完全にモデルに依存しず、あらゆるブラックボックスシステムで使用することができる。
特徴的重要性に加えて、決定論でよく知られるユーティリティの概念は、既存のXAI手法と比較して説明に新しい次元を提供する。
最後に、CIUは、どんなレベルの抽象化でも説明を生成でき、異なる語彙やその他のインタラクション手段を使用することで、コンテキストやターゲットユーザに対する説明やインタラクションを調整できる。
関連論文リスト
- Relevant Irrelevance: Generating Alterfactual Explanations for Image Classifiers [11.200613814162185]
本稿では,ブラックボックス画像分類器の再現的説明の実現可能性を示す。
ニューラルネットワークに基づくブラックボックスモデルにこのアイデアを適用することが可能であることを初めて示します。
論文 参考訳(メタデータ) (2024-05-08T11:03:22Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Towards Reconciling Usability and Usefulness of Explainable AI
Methodologies [2.715884199292287]
ブラックボックスAIシステムは、誤った判断を下すと、責任と説明責任の問題を引き起こす可能性がある。
説明可能なAI(XAI)は、開発者とエンドユーザの間の知識ギャップを埋めようとしている。
論文 参考訳(メタデータ) (2023-01-13T01:08:49Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳(メタデータ) (2022-11-12T21:54:05Z) - Alterfactual Explanations -- The Relevance of Irrelevance for Explaining
AI Systems [0.9542023122304099]
我々は、決定を完全に理解するためには、関連する特徴に関する知識だけでなく、無関係な情報の認識もAIシステムのユーザーのメンタルモデルの作成に大きく貢献すると主張している。
私たちのアプローチは、Alterfactual Explanations(Alterfactual Explanations)と呼ばれ、AIの入力の無関係な特徴が変更された別の現実を示すことに基づいています。
我々は,AIの推論のさまざまな側面を,反事実的説明法よりも理解するために,人工的説明が適していることを示す。
論文 参考訳(メタデータ) (2022-07-19T16:20:37Z) - Diagnosing AI Explanation Methods with Folk Concepts of Behavior [70.10183435379162]
我々は「成功」は、その説明がどんな情報を含むかだけでなく、人間の説明者がどのような情報から理解するかにも依存すると考えている。
我々は、人間の説明による社会的帰属の枠組みとして、行動の民意的概念を用いる。
論文 参考訳(メタデータ) (2022-01-27T00:19:41Z) - Towards Relatable Explainable AI with the Perceptual Process [5.581885362337179]
我々は、説明は、他の概念、仮説、および関連性により関連していなければならないと論じる。
認知心理学に触発されて、相対論的説明可能なAIのためのXAI知覚処理フレームワークとRexNetモデルを提案する。
論文 参考訳(メタデータ) (2021-12-28T05:48:53Z) - Conceptual Modeling and Artificial Intelligence: Mutual Benefits from
Complementary Worlds [0.0]
これまでのところ、主に分離されたCMとAIの分野にアプローチする2つの交差点に取り組むことに興味があります。
このワークショップでは、(一)概念モデリング(CM)がAIにどのような貢献ができるのか、(一)その逆の方法で、多様体相互利益を実現することができるという仮定を取り入れている。
論文 参考訳(メタデータ) (2021-10-16T18:42:09Z) - CX-ToM: Counterfactual Explanations with Theory-of-Mind for Enhancing
Human Trust in Image Recognition Models [84.32751938563426]
我々は、深層畳み込みニューラルネットワーク(CNN)による決定を説明するための、新しい説明可能なAI(XAI)フレームワークを提案する。
単発応答として説明を生成するXAIの現在の手法とは対照的に,我々は反復的な通信プロセスとして説明を行う。
本フレームワークは,機械の心と人間の心の相違を媒介し,対話における説明文のシーケンスを生成する。
論文 参考訳(メタデータ) (2021-09-03T09:46:20Z) - The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。
その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
論文 参考訳(メタデータ) (2021-07-28T17:32:04Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳(メタデータ) (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。