論文の概要: Unraveling the Dilemma of AI Errors: Exploring the Effectiveness of Human and Machine Explanations for Large Language Models
- arxiv url: http://arxiv.org/abs/2404.07725v1
- Date: Thu, 11 Apr 2024 13:16:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 13:59:46.702086
- Title: Unraveling the Dilemma of AI Errors: Exploring the Effectiveness of Human and Machine Explanations for Large Language Models
- Title（参考訳）: AIエラーのジレンマを解明する - 大規模言語モデルにおける人間と機械の説明の有効性を探る
- Authors: Marvin Pafla, Kate Larson, Mark Hancock,
- Abstract要約: 質問応答課題において, 人文文156件と, サリエンシに基づく説明文について分析した。
以上の結果から,人間の唾液マップは,機械の唾液マップよりもAIの回答を説明するのに有用であることが示唆された。
この発見は、説明におけるAIエラーのジレンマを示唆するものであり、役に立つ説明は、間違ったAI予測をサポートする場合にタスクパフォーマンスを低下させる可能性がある。
- 参考スコア（独自算出の注目度）: 8.863857300695667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of eXplainable artificial intelligence (XAI) has produced a plethora of methods (e.g., saliency-maps) to gain insight into artificial intelligence (AI) models, and has exploded with the rise of deep learning (DL). However, human-participant studies question the efficacy of these methods, particularly when the AI output is wrong. In this study, we collected and analyzed 156 human-generated text and saliency-based explanations collected in a question-answering task (N=40) and compared them empirically to state-of-the-art XAI explanations (integrated gradients, conservative LRP, and ChatGPT) in a human-participant study (N=136). Our findings show that participants found human saliency maps to be more helpful in explaining AI answers than machine saliency maps, but performance negatively correlated with trust in the AI model and explanations. This finding hints at the dilemma of AI errors in explanation, where helpful explanations can lead to lower task performance when they support wrong AI predictions.
- Abstract（参考訳）: eXplainable Artificial Intelligence(XAI)の分野は、人工知能(AI)モデルに対する洞察を得るための多くの方法(例えば、サリエンシマップ)を生み出し、ディープラーニング(DL)の台頭とともに爆発した。
しかしながら、人間の参加者による研究は、特にAIの出力が間違っている場合、これらの方法の有効性を疑問視する。
本研究では,質問応答タスク(N=40)で収集した156件の人為的テキストとサリエンシに基づく説明(N=136)を分析・分析し,現状のXAI説明(統合的勾配,保守的LPP,ChatGPT)と比較した(N=136)。
以上の結果から,AIの回答は機械のサリエンシマップよりも人間のサリエンシマップの方が有効であることがわかったが,性能はAIモデルの信頼度や説明と負の相関を示した。
この発見は、説明におけるAIエラーのジレンマを示唆するものであり、役に立つ説明は、間違ったAI予測をサポートする場合にタスクパフォーマンスを低下させる可能性がある。
関連論文リスト
- Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA [43.116608441891096]
人間は知識に基づく帰納的、概念的推論においてAIシステムより優れています。
GPT-4やLLaMAのような最先端のLLMは、ターゲット情報検索において優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-09T03:53:26Z) - Don't be Fooled: The Misinformation Effect of Explanations in Human-AI Collaboration [11.824688232910193]
我々は,人間がXAIに支えられたAIによる意思決定について研究している。
その結果,誤った説明が正しいAIアドバイスに付随する場合に誤報が生じることがわかった。
この効果は、人間が欠陥のある推論戦略を推測し、タスクの実行を妨げ、手続き的知識の障害を示す。
論文 参考訳（メタデータ） (2024-09-19T14:34:20Z) - Measuring Human Contribution in AI-Assisted Content Generation [68.03658922067487]
本研究は,AIによるコンテンツ生成における人間の貢献度を測定する研究課題を提起する。
人間の入力とAI支援出力の自己情報に対する相互情報を計算することにより、コンテンツ生成における人間の比例情報貢献を定量化する。
論文 参考訳（メタデータ） (2024-08-27T05:56:04Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Exploration with Principles for Diverse AI Supervision [88.61687950039662]
次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。
この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。
この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。
本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-10-13T07:03:39Z) - Understanding the Effect of Counterfactual Explanations on Trust and
Reliance on AI for Human-AI Collaborative Clinical Decision Making [5.381004207943597]
本研究は,7人のセラピストと10人のレイパーを対象に,ストローク後生存者の運動の質を評価するための実験を行った。
我々は2種類のAI説明なしで、彼らのパフォーマンス、タスクの合意レベル、AIへの依存を分析した。
我々の研究は、AIモデルの精度をより正確に見積り、間違ったAI出力に対する過度な信頼を減らすために、反事実的説明の可能性について論じている。
論文 参考訳（メタデータ） (2023-08-08T16:23:46Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳（メタデータ） (2022-12-08T23:23:39Z) - On Explainability in AI-Solutions: A Cross-Domain Survey [4.394025678691688]
システムモデルを自動的に導出する際、AIアルゴリズムは人間には検出できないデータで関係を学習する。
モデルが複雑になればなるほど、人間が意思決定の理由を理解するのが難しくなる。
この研究は、この話題に関する広範な文献調査を提供し、その大部分は、他の調査から成っている。
論文 参考訳（メタデータ） (2022-10-11T06:21:47Z) - Diagnosing AI Explanation Methods with Folk Concepts of Behavior [70.10183435379162]
我々は「成功」は、その説明がどんな情報を含むかだけでなく、人間の説明者がどのような情報から理解するかにも依存すると考えている。
我々は、人間の説明による社会的帰属の枠組みとして、行動の民意的概念を用いる。
論文 参考訳（メタデータ） (2022-01-27T00:19:41Z) - Counterfactuals and Causability in Explainable Artificial Intelligence:
Theory, Algorithms, and Applications [0.20999222360659603]
一部の研究者は、機械がある程度の人間レベルの説明性を達成するためには、因果的に理解できる説明を提供する必要があると主張した。
可利用性を提供する可能性のある特定のアルゴリズムのクラスは偽物である。
本稿では,多種多様な文献を体系的に検証し,その事実と説明可能な人工知能の因果性について述べる。
論文 参考訳（メタデータ） (2021-03-07T03:11:39Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。