論文の概要: Prospect Theory Fails for LLMs: Revealing Instability of Decision-Making under Epistemic Uncertainty
- arxiv url: http://arxiv.org/abs/2508.08992v1
- Date: Tue, 12 Aug 2025 15:02:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-13 21:07:34.469694
- Title: Prospect Theory Fails for LLMs: Revealing Instability of Decision-Making under Epistemic Uncertainty
- Title(参考訳): LLMの展望論の失敗--先天的不確かさ下での意思決定の不安定性の解明
- Authors: Rui Wang, Qihan Lin, Jiayu Liu, Qing Zong, Tianshi Zheng, Weiqi Wang, Yangqiu Song,
- Abstract要約: プロスペクト理論が現代の大規模言語モデルに適用されるかどうかは、まだ明らかになっていない。
PT下でのLCMの意思決定動作をモデル化するための,より汎用的で正確な評価フレームワークを提案する。
以上の結果から,LPMのPTによる意思決定のモデル化は信頼性が低いことが示唆された。
- 参考スコア(独自算出の注目度): 41.94502767947584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prospect Theory (PT) models human decision-making under uncertainty, while epistemic markers (e.g., maybe) serve to express uncertainty in language. However, it remains largely unexplored whether Prospect Theory applies to contemporary Large Language Models and whether epistemic markers, which express human uncertainty, affect their decision-making behaviour. To address these research gaps, we design a three-stage experiment based on economic questionnaires. We propose a more general and precise evaluation framework to model LLMs' decision-making behaviour under PT, introducing uncertainty through the empirical probability values associated with commonly used epistemic markers in comparable contexts. We then incorporate epistemic markers into the evaluation framework based on their corresponding probability values to examine their influence on LLM decision-making behaviours. Our findings suggest that modelling LLMs' decision-making with PT is not consistently reliable, particularly when uncertainty is expressed in diverse linguistic forms. Our code is released in https://github.com/HKUST-KnowComp/MarPT.
- Abstract(参考訳): プロスペクト理論(PT)は不確実性の下での人間の意思決定をモデル化し、エピステミックマーカー(例えば、おそらくは)は言語における不確実性を表現する。
しかしながら、プロスペクト理論が現代の大言語モデルに適用されるのか、あるいは人間の不確実性を表すてんかんマーカーが意思決定行動に影響を及ぼすのかは明らかになっていない。
これらの研究ギャップに対処するために、経済調査に基づく3段階の実験を設計する。
本稿では,LPMの意思決定動作をPTでモデル化するための,より汎用的で正確な評価フレームワークを提案する。
次に,その確率値に基づいて認識マーカーを評価枠組みに組み込んで,LLM決定行動への影響を検討する。
以上の結果から,LPMのPTによる意思決定のモデル化は,不確実性が多種多様な言語形式で表現される場合,一貫して信頼性が低いことが示唆された。
私たちのコードはhttps://github.com/HKUST-KnowComp/MarPTで公開されています。
関連論文リスト
- Token-Level Uncertainty Estimation for Large Language Model Reasoning [24.56760223952017]
大きな言語モデル(LLM)は印象的な機能を示していますが、その出力品質はさまざまなアプリケーションシナリオで相容れないままです。
本稿では, LLMの自己評価と, 数学的推論における生成品質の自己向上を可能にするトークンレベルの不確実性推定フレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-16T22:47:32Z) - Finetuning Language Models to Emit Linguistic Expressions of Uncertainty [5.591074369497796]
大規模言語モデル(LLM)は情報検索や意思決定のタスクにますます採用されている。
LLMは現実世界の事実と矛盾する情報を生成する傾向があり、その説得的なスタイルはこれらの不正確さを自信と説得力に見せかける。
本研究では,不確実性の言語表現を生成するモデルを開発する手法として,不確実性拡張予測の教師付き微調整について検討する。
論文 参考訳(メタデータ) (2024-09-18T17:52:53Z) - Decision-Making Behavior Evaluation Framework for LLMs under Uncertain Context [5.361970694197912]
本稿では,大規模言語モデル(LLM)の意思決定行動を評価するための行動経済学に基づく枠組みを提案する。
本稿では,ChatGPT-4.0-Turbo,Claude-3-Opus,Gemini-1.0-proの3つの商用LCMにおけるリスク嗜好,確率重み付け,損失回避の程度を推定する。
以上の結果から,LSMはリスク回避や損失回避といった人間に類似したパターンを呈し,その傾向は小さすぎることが示唆された。
論文 参考訳(メタデータ) (2024-06-10T02:14:19Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z) - Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。
ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
論文 参考訳(メタデータ) (2024-05-30T12:42:05Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。
本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。
さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。
これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
論文 参考訳(メタデータ) (2024-04-08T14:15:56Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z) - A Meta-heuristic Approach to Estimate and Explain Classifier Uncertainty [0.4264192013842096]
本研究は,人間と機械学習の双方の意思決定に相互に関係する因子の観点から,インスタンスの複雑性を特徴付けるクラス非依存型メタヒューリスティックスを提案する。
提案された測度とフレームワークは、より複雑なインスタンスのモデル開発を改善するとともに、モデルの棄却と説明の新しい手段を提供するという約束を持っている。
論文 参考訳(メタデータ) (2023-04-20T13:09:28Z) - When Does Uncertainty Matter?: Understanding the Impact of Predictive
Uncertainty in ML Assisted Decision Making [68.19284302320146]
我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。
その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。
このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
論文 参考訳(メタデータ) (2020-11-12T02:23:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。