論文の概要: Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.11028v1
• Date: Sun, 16 Feb 2025 07:46:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 20:34:44.807011
• Title: Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models
• Title（参考訳）: Mind the Confidence Gap: 大規模言語モデルにおける過信、校正、およびディフラクタ効果
• Authors: Prateek Chhikara,
• Abstract要約: 本稿では,モデルサイズ,緩和要因,質問タイプが信頼性アライメントに与える影響について検討する。 本稿では,過信度を計測し,複数選択形式が誤校正を悪化させるかどうかを検討するための評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.6091702876917281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) demonstrate impressive performance across diverse tasks, yet confidence calibration remains a challenge. Miscalibration - where models are overconfident or underconfident - poses risks, particularly in high-stakes applications. This paper presents an empirical study on LLM calibration, examining how model size, distractors, and question types affect confidence alignment. We introduce an evaluation framework to measure overconfidence and investigate whether multiple-choice formats mitigate or worsen miscalibration. Our findings show that while larger models (e.g., GPT-4o) are better calibrated overall, they are more prone to distraction, whereas smaller models benefit more from answer choices but struggle with uncertainty estimation. Unlike prior work, which primarily reports miscalibration trends, we provide actionable insights into failure modes and conditions that worsen overconfidence. These findings highlight the need for calibration-aware interventions and improved uncertainty estimation methods.
• Abstract（参考訳）: 大きな言語モデル(LLM)は様々なタスクにまたがって素晴らしいパフォーマンスを示していますが、信頼性のキャリブレーションは依然として課題です。 ミススキャリブレーション(Miscalibration) - モデルが過信あるいは過信である場合、特に高度なアプリケーションにおいて、リスクが発生する。 本稿では, LLMキャリブレーションに関する実証的研究を行い, モデルサイズ, イントラクタ, 質問タイプが信頼性アライメントに与える影響について検討する。 本稿では,過信度を計測し,複数選択形式が誤校正を緩和するか否かを検討するための評価フレームワークを提案する。 以上の結果から,より大きなモデル (例えば GPT-4o) は全体の校正精度が向上する一方, より小さなモデルの方が解答選択の恩恵を受けやすいが, 不確実性評価に苦慮する傾向が示唆された。 主に誤校正の傾向を報告している以前の作業とは異なり、障害モードや過度な自信を悪化させる状況に対する実用的な洞察を提供する。 これらの知見は、校正意識の介入の必要性と不確実性評価法の改善を浮き彫りにした。

関連論文リスト

• SGIC: A Self-Guided Iterative Calibration Framework for RAG [45.17496149653415]
  大規模言語モデル(LLM)は、頑健な文脈内推論を生かしている。 ツールとして不確実性スコアを用いる新しいフレームワークを提案する。 また、反復的な自己校正訓練セットを構築するための革新的なアプローチも導入する。
  論文  参考訳（メタデータ） (2025-06-19T09:45:13Z)
• Verbalized Confidence Triggers Self-Verification: Emergent Behavior Without Explicit Reasoning Supervision [12.287123198288079]
  大規模言語モデル(LLM)の安全な配置には不確実性校正が不可欠である 我々は,スカラー信頼ラベルのみを用いた教師付き微調整が,言語モデルの自己検証行動を引き出すのに十分であることがわかった。 キャリブレーションされた不確実性に基づいて,テスト時間スケーリングによる性能向上を図った簡易な再考手法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T08:56:24Z)
• Balancing Two Classifiers via A Simplex ETF Structure for Model Calibration [34.52946891778497]
  ディープニューラルネットワーク(DNN)は、さまざまな領域にわたる最先端のパフォーマンスを実証している。 彼らはしばしばキャリブレーションの問題に直面するが、特に自動運転やヘルスケアといった安全上重要な応用においてである。 近年,分類器の観点からモデルキャリブレーションの改善が試みられている。
  論文  参考訳（メタデータ） (2025-04-14T09:09:01Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
  本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。 分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-10T05:51:52Z)
• The Reliability Paradox: Exploring How Shortcut Learning Undermines Language Model Calibration [5.616884466478886]
  プレトレーニング言語モデル(PLM)は、自然言語処理の分野で大きなパフォーマンス向上を実現している。 近年の研究では、PLMは誤校正に悩まされており、これらのモデルによる信頼度推定の精度の欠如が示唆されている。 本稿では,低校正誤差が言語モデルの信頼性決定ルールを意味するか否かを考察する。
  論文  参考訳（メタデータ） (2024-12-17T08:04:28Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• Epistemic Integrity in Large Language Models [10.50127599111102]
  大規模な言語モデルは情報ソースにますます頼っているが、偽りや誤解を招く声明の妥当性はユーザーや社会に高いリスクをもたらす。 本稿では,モデルの言語的主張が真の内部的確証を反映しないという,誤校正の重大な問題に直面する。 大規模言語モデルの言語的アサーション性を評価するための,新しい人的ミスアライメント評価と新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-10T17:10:13Z)
• Confidence Estimation for LLM-Based Dialogue State Tracking [9.305763502526833]
  大規模言語モデル(LLM)に基づく会話型AIシステムでは,モデルの出力に対する信頼度の推定が重要である。 オープン・アンド・クローズド・ウェイト LLM に提案するアプローチを含む,手法の徹底的な探索を行う。 以上の結果から, 微調整式オープンウェイトLLMはAUC性能が向上し, 信頼性スコアの校正精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-15T06:44:26Z)
• Enhancing Healthcare LLM Trust with Atypical Presentations Recalibration [20.049443396032423]
  ブラックボックスの大規模言語モデル(LLM)は、様々な環境に徐々に展開されている。 LLMは、しばしば過剰な自信を示し、潜在的なリスクや誤った判断につながる。 本稿では,非定型的なプレゼンテーションを利用してモデルの信頼度を推定する新しい手法であるtextitAtypical presentations Recalibrationを提案する。
  論文  参考訳（メタデータ） (2024-09-05T03:45:35Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Multi-Perspective Consistency Enhances Confidence Estimation in Large Language Models [27.63938857490995]
  本研究は,大規模言語モデルの信頼性評価の改善に焦点を当てる。 言語モデルにおける自己認識の脆弱さを考慮して,マルチパースペクティブ・一貫性(MPC)法を提案する。 8つの公開データセットの実験結果は、我々のMPCが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-02-17T13:37:39Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• On the Calibration of Large Language Models and Alignment [63.605099174744865]
  信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。 構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。 我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
  論文  参考訳（メタデータ） (2023-11-22T08:57:55Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Two Sides of Miscalibration: Identifying Over and Under-Confidence Prediction for Network Calibration [1.192436948211501]
  安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。 ミススキャリブレーションは、過信と/または過信をモデル化する。 校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。 クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
  論文  参考訳（メタデータ） (2023-08-06T17:59:14Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。