論文の概要: Unraveling the Dilemma of AI Errors: Exploring the Effectiveness of Human and Machine Explanations for Large Language Models
- arxiv url: http://arxiv.org/abs/2404.07725v1
- Date: Thu, 11 Apr 2024 13:16:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 13:59:46.702086
- Title: Unraveling the Dilemma of AI Errors: Exploring the Effectiveness of Human and Machine Explanations for Large Language Models
- Title(参考訳): AIエラーのジレンマを解明する - 大規模言語モデルにおける人間と機械の説明の有効性を探る
- Authors: Marvin Pafla, Kate Larson, Mark Hancock,
- Abstract要約: 質問応答課題において, 人文文156件と, サリエンシに基づく説明文について分析した。
以上の結果から,人間の唾液マップは,機械の唾液マップよりもAIの回答を説明するのに有用であることが示唆された。
この発見は、説明におけるAIエラーのジレンマを示唆するものであり、役に立つ説明は、間違ったAI予測をサポートする場合にタスクパフォーマンスを低下させる可能性がある。
- 参考スコア(独自算出の注目度): 8.863857300695667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of eXplainable artificial intelligence (XAI) has produced a plethora of methods (e.g., saliency-maps) to gain insight into artificial intelligence (AI) models, and has exploded with the rise of deep learning (DL). However, human-participant studies question the efficacy of these methods, particularly when the AI output is wrong. In this study, we collected and analyzed 156 human-generated text and saliency-based explanations collected in a question-answering task (N=40) and compared them empirically to state-of-the-art XAI explanations (integrated gradients, conservative LRP, and ChatGPT) in a human-participant study (N=136). Our findings show that participants found human saliency maps to be more helpful in explaining AI answers than machine saliency maps, but performance negatively correlated with trust in the AI model and explanations. This finding hints at the dilemma of AI errors in explanation, where helpful explanations can lead to lower task performance when they support wrong AI predictions.
- Abstract(参考訳): eXplainable Artificial Intelligence(XAI)の分野は、人工知能(AI)モデルに対する洞察を得るための多くの方法(例えば、サリエンシマップ)を生み出し、ディープラーニング(DL)の台頭とともに爆発した。
しかしながら、人間の参加者による研究は、特にAIの出力が間違っている場合、これらの方法の有効性を疑問視する。
本研究では,質問応答タスク(N=40)で収集した156件の人為的テキストとサリエンシに基づく説明(N=136)を分析・分析し,現状のXAI説明(統合的勾配,保守的LPP,ChatGPT)と比較した(N=136)。
以上の結果から,AIの回答は機械のサリエンシマップよりも人間のサリエンシマップの方が有効であることがわかったが,性能はAIモデルの信頼度や説明と負の相関を示した。
この発見は、説明におけるAIエラーのジレンマを示唆するものであり、役に立つ説明は、間違ったAI予測をサポートする場合にタスクパフォーマンスを低下させる可能性がある。
関連論文リスト
- Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Exploration with Principles for Diverse AI Supervision [88.61687950039662]
次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。
この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。
この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。
本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-13T07:03:39Z) - Understanding the Effect of Counterfactual Explanations on Trust and
Reliance on AI for Human-AI Collaborative Clinical Decision Making [5.381004207943597]
本研究は,7人のセラピストと10人のレイパーを対象に,ストローク後生存者の運動の質を評価するための実験を行った。
我々は2種類のAI説明なしで、彼らのパフォーマンス、タスクの合意レベル、AIへの依存を分析した。
我々の研究は、AIモデルの精度をより正確に見積り、間違ったAI出力に対する過度な信頼を減らすために、反事実的説明の可能性について論じている。
論文 参考訳(メタデータ) (2023-08-08T16:23:46Z) - Improving Human-AI Collaboration With Descriptions of AI Behavior [14.904401331154062]
人々はAIシステムを使って意思決定を改善するが、しばしばAIの予測を過度に、あるいは過度に予測し、手伝わなかったよりも悪いパフォーマンスをする。
人々がAIアシスタントを適切に頼りにするために、行動記述を示すことを提案する。
論文 参考訳(メタデータ) (2023-01-06T00:33:08Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳(メタデータ) (2022-12-08T23:23:39Z) - On Explainability in AI-Solutions: A Cross-Domain Survey [4.394025678691688]
システムモデルを自動的に導出する際、AIアルゴリズムは人間には検出できないデータで関係を学習する。
モデルが複雑になればなるほど、人間が意思決定の理由を理解するのが難しくなる。
この研究は、この話題に関する広範な文献調査を提供し、その大部分は、他の調査から成っている。
論文 参考訳(メタデータ) (2022-10-11T06:21:47Z) - Diagnosing AI Explanation Methods with Folk Concepts of Behavior [70.10183435379162]
我々は「成功」は、その説明がどんな情報を含むかだけでなく、人間の説明者がどのような情報から理解するかにも依存すると考えている。
我々は、人間の説明による社会的帰属の枠組みとして、行動の民意的概念を用いる。
論文 参考訳(メタデータ) (2022-01-27T00:19:41Z) - A Turing Test for Transparency [0.0]
説明可能な人工知能(XAI)の中心的な目標は、人間とAIのインタラクションにおける信頼関係を改善することである。
最近の実証的な証拠は、説明が反対の効果を持つことを示している。
この効果はXAIの目的に挑戦し、透明なAI手法の責任ある使用には、人間が人間の説明から生成された機械を区別する能力を考慮する必要があることを示唆している。
論文 参考訳(メタデータ) (2021-06-21T20:09:40Z) - Counterfactuals and Causability in Explainable Artificial Intelligence:
Theory, Algorithms, and Applications [0.20999222360659603]
一部の研究者は、機械がある程度の人間レベルの説明性を達成するためには、因果的に理解できる説明を提供する必要があると主張した。
可利用性を提供する可能性のある特定のアルゴリズムのクラスは偽物である。
本稿では,多種多様な文献を体系的に検証し,その事実と説明可能な人工知能の因果性について述べる。
論文 参考訳(メタデータ) (2021-03-07T03:11:39Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳(メタデータ) (2020-08-15T10:11:42Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳(メタデータ) (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。