論文の概要: Human Decision-Making with Persuasive and Narrative LLM Explanations
- arxiv url: http://arxiv.org/abs/2605.23867v1
- Date: Fri, 22 May 2026 17:25:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.444155
- Title: Human Decision-Making with Persuasive and Narrative LLM Explanations
- Title(参考訳): 説得的・物語的LLM説明を用いた人的意思決定
- Authors: Laura R. Marusich, Mary Grace Kozuch Dhooghe, Jonathan Z. Bakdash, Murat Kantarcioglu,
- Abstract要約: 大規模言語モデル(LLM)は、分類タスクにおける人間の意思決定を支援し改善する可能性を秘めている。
以前の研究は、人々は一般的にAIの物語の説明が理解でき、信頼でき、信念や意見を変えることを説得できると考えていることを実証している。
ここでは,物語の説明が客観的な意思決定能力に与える影響を評価する。
- 参考スコア(独自算出の注目度): 11.224478276578745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have the potential to aid and improve human decision-making in classification tasks, not only by providing fairly accurate predictions, but also in their ability to generate cogent narrative explanations of those predictions. Prior work has demonstrated that people generally find AI narrative explanations to be understandable, trustworthy, and convincing for changing beliefs and opinions; however, less is known about the impact of narrative explanations on objective human decision-making performance. Here we conduct a large-scale human behavioral experiment to evaluate decision-making performance with LLM-generated narrative explanations of varying persuasiveness. We found the degree of persuasiveness, or lack thereof, for LLM-based explanations did not meaningfully impact decision accuracy over a simple AI prediction alone, in agreement with typical results with explainable AI based on feature importance. We found evidence that narratives increased reliance on AI, but both when the AI prediction was correct and incorrect. Exploratory analyses also indicated that the more persuasive narratives may have had a detrimental effect on decision response times and the ability to discriminate between a correct and incorrect AI prediction. Overall, this work indicates that including narrative explanations with AI predictions may involve tradeoffs for decision-making performance, and more work is needed to determine how and when narrative explanations impact human decision-making.
- Abstract(参考訳): 大規模言語モデル(LLM)は、かなり正確な予測を提供するだけでなく、それらの予測のコジェントな説明を生成する能力によって、分類タスクにおける人間の意思決定を補助し改善する可能性を持っている。
以前の研究では、人々は一般的にAIの物語の説明が理解可能で、信頼でき、信念や意見を変えることを説得できると考えているが、物語の説明が客観的な人間の意思決定のパフォーマンスに与える影響についてはあまり知られていない。
そこで本研究では, LLM生成による様々な説得力の物語説明を用いて, 意思決定性能を評価するために, 大規模な人間行動実験を行う。
LLMに基づく説明に対する説得力の程度や欠如は、特徴的重要性に基づく説明可能なAIの典型的な結果と一致して、単純なAI予測だけでは決定精度に有意な影響を与えなかった。
物語がAIに依存しているという証拠は見つかったが、AIの予測が正確で間違っていた。
探索的分析は、より説得力のある物語が意思決定の応答時間と正しいAI予測と誤ったAI予測を区別する能力に有害な影響を及ぼしたことを示している。
全体として、この研究は、AI予測による物語の説明を含むと、意思決定のパフォーマンスのトレードオフが伴う可能性を示しており、物語の説明が人間の意思決定にどのように影響するかを判断するためには、より多くの作業が必要である。
関連論文リスト
- The Persuasion Paradox: When LLM Explanations Fail to Improve Human-AI Team Performance [16.560095082937874]
流動的な説明は、確実に改善することなく、AIへのユーザの信頼と信頼を体系的に向上させ、場合によってはタスク精度を損なう。
以上の結果から,信頼,信頼,明快さなどの主観的指標が,人間-AIチームパフォーマンスの予測に乏しいことが示唆された。
論文 参考訳(メタデータ) (2026-01-31T20:23:37Z) - Contrastive Explanations That Anticipate Human Misconceptions Can Improve Human Decision-Making Skills [24.04643864795939]
人々の意思決定能力は、意思決定支援にAIに頼ると、しばしば改善に失敗する。
ほとんどのAIシステムは、AIの決定を正当化する一方的な説明を提供するが、ユーザーの思考を考慮しない。
我々は、AIの選択と予測された、おそらく人間の選択との違いを説明する、人間中心のコントラスト的な説明を生成するためのフレームワークを紹介します。
論文 参考訳(メタデータ) (2024-10-05T18:21:04Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。
本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。
さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。
これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
論文 参考訳(メタデータ) (2024-04-08T14:15:56Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Understanding the Role of Human Intuition on Reliance in Human-AI
Decision-Making with Explanations [44.01143305912054]
意思決定者の直感がAI予測と説明の使用に与える影響について検討する。
以上の結果から,AIの予測と説明に関する3種類の直観が明らかになった。
これらの経路を用いて、なぜ機能に基づく説明が参加者の決定結果を改善しなかったのかを説明し、AIへの依存度を高めた。
論文 参考訳(メタデータ) (2023-01-18T01:33:50Z) - Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
テキストデータ上でのサリエンシに基づく説明について検討する。
人はしばしば説明を誤って解釈する。
本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
論文 参考訳(メタデータ) (2022-01-27T15:20:32Z) - The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。
その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
論文 参考訳(メタデータ) (2021-07-28T17:32:04Z) - Does Explainable Artificial Intelligence Improve Human Decision-Making? [17.18994675838646]
我々は、AI(制御)を使わずに客観的な人間の意思決定精度を、AI予測(説明なし)とAI予測(説明なし)とを比較して評価する。
あらゆる種類のAI予測は、ユーザの判断精度を改善する傾向がありますが、説明可能なAIが有意義な影響を与えるという決定的な証拠はありません。
我々の結果は、少なくともいくつかの状況において、説明可能なAIが提供する「なぜ」情報は、ユーザの意思決定を促進することができないことを示唆している。
論文 参考訳(メタデータ) (2020-06-19T15:46:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。