論文の概要: Do Language Models Mirror Human Confidence? Exploring Psychological Insights to Address Overconfidence in LLMs

• arxiv url: http://arxiv.org/abs/2506.00582v1
• Date: Sat, 31 May 2025 14:37:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.269838
• Title: Do Language Models Mirror Human Confidence? Exploring Psychological Insights to Address Overconfidence in LLMs
• Title（参考訳）: 言語モデルは人間の信頼を反映しているか? : LLMの過信に対処するための心理学的考察
• Authors: Chenjun Xu, Bingbing Wen, Bin Han, Robert Wolfe, Lucy Lu Wang, Bill Howe,
• Abstract要約: モデルでは、異なるペルソナに基づいて回答するよう促されたとき、人間の過信パターンと微妙な違いが示される。 信頼性キャリブレーションとLCMの解釈性を改善するために,アンサーフリー信頼度推定法を提案する。
• 参考スコア（独自算出の注目度）: 16.635844645949636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Psychology research has shown that humans are poor at estimating their performance on tasks, tending towards underconfidence on easy tasks and overconfidence on difficult tasks. We examine three LLMs, Llama-3-70B-instruct, Claude-3-Sonnet, and GPT-4o, on a range of QA tasks of varying difficulty, and show that models exhibit subtle differences from human patterns of overconfidence: less sensitive to task difficulty, and when prompted to answer based on different personas -- e.g., expert vs layman, or different race, gender, and ages -- the models will respond with stereotypically biased confidence estimations even though their underlying answer accuracy remains the same. Based on these observations, we propose Answer-Free Confidence Estimation (AFCE) to improve confidence calibration and LLM interpretability in these settings. AFCE is a self-assessment method that employs two stages of prompting, first eliciting only confidence scores on questions, then asking separately for the answer. Experiments on the MMLU and GPQA datasets spanning subjects and difficulty show that this separation of tasks significantly reduces overconfidence and delivers more human-like sensitivity to task difficulty.
• Abstract（参考訳）: 心理学の研究によれば、人間はタスクに対するパフォーマンスを見積もるのが苦手であり、簡単なタスクに対する自信の不足や困難なタスクに対する自信の過大さに傾向がある。 LLM(Llama-3-70B-instruct)、Claude-3-Sonnet(Claude-3-Sonnet)、GPT-4o(GPT-4o)の3つのLLMを、様々な困難さのQAタスクの範囲で検討し、タスクの難易度に敏感な人間のパターンと微妙な違いを示すことを示す。 これらの観測に基づいて,信頼性校正とLCMの解釈性を改善するために,アンサーフリー信頼度推定(AFCE)を提案する。 AFCEは2段階の自己評価手法であり、まず質問に対する信頼スコアのみを抽出し、回答を個別に求める。 MMLUとGPQAデータセットの実験は、課題の分離が過剰な自信を著しく減らし、課題の難しさに対してより人間的な感受性を提供することを示している。

関連論文リスト

• Language Models Prefer What They Know: Relative Confidence Estimation via Confidence Preferences [62.52739672949452]
  言語モデル(LM)は、ユーザーがアウトプットの誤りを検知し、必要であれば人間の専門家に延期するのに役立つ、信頼性の高い信頼推定を提供する必要がある。 本稿では,相対的信頼度推定法を提案する。そこでは,相互に質問をマッチングし,モデルに信頼度を相対的に判断するよう求める。 各質問を、他の質問に対する「プレイヤー」として扱い、モデルの選好を一致結果として扱うことで、モデルの信頼性選好を信頼スコアに変換するために、Elo評価やBradley-Terryのようなランクアグリゲーション手法を使うことができる。
  論文  参考訳（メタデータ） (2025-02-03T07:43:27Z)
• Confidence in the Reasoning of Large Language Models [0.0]
  信頼度は、再考を促す際に、答えを維持するための永続性の観点から測定される。 信頼は、基礎となるトークンレベルの確率によってのみ部分的に説明される。
  論文  参考訳（メタデータ） (2024-12-19T10:04:29Z)
• Reconfidencing LLMs from the Grouping Loss Perspective [56.801251926946485]
  大規模言語モデル(LLM)は、自信のある音調で幻覚的な答えを生じさせる可能性がある。 近年の研究では、不確実性制御はキャリブレーションを超えて行わなければならないことが示されている。 そこで我々は,MistralとLLaMAの回答に対する信頼度を評価するために,知識ベースから導出した新しい評価データセットを構築した。
  論文  参考訳（メタデータ） (2024-02-07T15:40:22Z)
• What Large Language Models Know and What People Think They Know [13.939511057660013]
  大規模言語モデル(LLM)は意思決定プロセスに統合されつつある。 人間の信頼を得るためには、LSMは正確に評価し、正しい予測の可能性を伝達できるように、適切に校正されなければならない。 ここでは, LLM生成回答における人間の信頼度とモデルの実際の信頼度との差を示すキャリブレーションギャップと, 人間とモデルが正解と誤解をいかによく区別できるかを反映した識別ギャップについて検討する。
  論文  参考訳（メタデータ） (2024-01-24T22:21:04Z)
• A Survey of Confidence Estimation and Calibration in Large Language Models [86.692994151323]
  大規模言語モデル(LLM)は、様々な領域において幅広いタスクにまたがる顕著な機能を示している。 印象的なパフォーマンスにもかかわらず、彼らは世代内の事実上の誤りのために信頼できない。 信頼度を評価し、異なるタスクで調整することで、リスクを軽減し、LLMがより良い世代を創出できるようになります。
  論文  参考訳（メタデータ） (2023-11-14T16:43:29Z)
• On the Intersection of Self-Correction and Trust in Language Models [7.8833421052793256]
  大規模言語モデル(LLM)は、複雑な認知タスクを実行する際、顕著な能力を示した。 近年,LLMの自己補正能力について検討している。 我々は信頼の2つの重要な側面、真理と毒性に焦点を当てた実験を行う。
  論文  参考訳（メタデータ） (2023-11-06T00:04:12Z)
• The Confidence-Competence Gap in Large Language Models: A Cognitive Study [3.757390057317548]
  大規模言語モデル(LLM)は、様々な領域にわたるパフォーマンスに対して、広く注目を集めている。 我々はこれらのモデルを多様なアンケートと実世界のシナリオで活用する。 この結果から,モデルが誤答しても高い信頼性を示す興味深い事例が判明した。
  論文  参考訳（メタデータ） (2023-09-28T03:50:09Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。