論文の概要: Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.11028v2
• Date: Thu, 05 Jun 2025 07:14:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 16:56:39.450581
• Title: Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models
• Title（参考訳）: Mind the Confidence Gap: 大規模言語モデルにおける過信、校正、およびディフラクタ効果
• Authors: Prateek Chhikara,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理において顕著な熟練度を示す。 予測された信頼と真の正しさの過度なミスサライメントは、重要な意思決定アプリケーションに重大なリスクをもたらす。 9つのLCMと3つの質問応答データセットにわたるLCMの校正に関する包括的分析を行った。
• 参考スコア（独自算出の注目度）: 0.6091702876917281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) show remarkable proficiency in natural language tasks, yet their frequent overconfidence-misalignment between predicted confidence and true correctness-poses significant risks in critical decision-making applications. We present a comprehensive analysis on calibration in LLMs across nine LLMs and three factual Question-Answering (QA) datasets, systematically comparing standard free-generation settings against structured distractor-augmented prompts. Our evaluation reveals that explicitly incorporating distractors can substantially mitigate miscalibration, achieving relative accuracy improvements up to 460% and ECE reductions up to 90%. Despite general trends, we uncover nuanced findings: large RLHF-tuned models display inherent calibration strengths but can paradoxically suffer increased miscalibration on easier queries, whereas smaller models benefit disproportionately from distractor prompts but remain significantly miscalibrated. Through detailed analyses across question types, we identify persistent calibration failures, particularly in person-based queries. We conclude with concrete recommendations-targeted fine-tuning, structured prompting, and strategic model choice-to ensure reliable, trustworthy LLM deployments.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語のタスクにおいて顕著な習熟度を示すが、予測された信頼と真の正しさの過度な相違は、重要な意思決定アプリケーションにおいて重大なリスクをもたらす。 9個のLCMと3つの現実質問応答(QA)データセットにわたるLCMの校正に関する包括的分析を行い、構造化されたインタプリタ強化プロンプトと標準フリージェネレーション設定を体系的に比較した。 評価の結果, インタプリタを明示的に組み込むことで, 誤校正が著しく軽減され, 相対精度が460%, ECEが90%向上することがわかった。 RLHFを調整した大型モデルは本質的にキャリブレーション強度を示すが、より簡単なクエリに対してパラドックス的に誤校正を被る可能性がある。 質問タイプ間の詳細な分析を通じて、永続的なキャリブレーション障害、特に個人ベースのクエリを識別する。 信頼性と信頼性を確保するために、具体的レコメンデーションを目標とした微調整、構造化プロンプト、戦略的モデルの選択を結論付けます。

関連論文リスト

• Balancing Two Classifiers via A Simplex ETF Structure for Model Calibration [34.52946891778497]
  ディープニューラルネットワーク(DNN)は、さまざまな領域にわたる最先端のパフォーマンスを実証している。 彼らはしばしばキャリブレーションの問題に直面するが、特に自動運転やヘルスケアといった安全上重要な応用においてである。 近年,分類器の観点からモデルキャリブレーションの改善が試みられている。
  論文  参考訳（メタデータ） (2025-04-14T09:09:01Z)
• The Reliability Paradox: Exploring How Shortcut Learning Undermines Language Model Calibration [5.616884466478886]
  プレトレーニング言語モデル(PLM)は、自然言語処理の分野で大きなパフォーマンス向上を実現している。 近年の研究では、PLMは誤校正に悩まされており、これらのモデルによる信頼度推定の精度の欠如が示唆されている。 本稿では,低校正誤差が言語モデルの信頼性決定ルールを意味するか否かを考察する。
  論文  参考訳（メタデータ） (2024-12-17T08:04:28Z)
• Enhancing Healthcare LLM Trust with Atypical Presentations Recalibration [20.049443396032423]
  ブラックボックスの大規模言語モデル(LLM)は、様々な環境に徐々に展開されている。 LLMは、しばしば過剰な自信を示し、潜在的なリスクや誤った判断につながる。 本稿では,非定型的なプレゼンテーションを利用してモデルの信頼度を推定する新しい手法であるtextitAtypical presentations Recalibrationを提案する。
  論文  参考訳（メタデータ） (2024-09-05T03:45:35Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Multi-Perspective Consistency Enhances Confidence Estimation in Large Language Models [27.63938857490995]
  本研究は,大規模言語モデルの信頼性評価の改善に焦点を当てる。 言語モデルにおける自己認識の脆弱さを考慮して,マルチパースペクティブ・一貫性(MPC)法を提案する。 8つの公開データセットの実験結果は、我々のMPCが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-02-17T13:37:39Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• On the Calibration of Large Language Models and Alignment [63.605099174744865]
  信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。 構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。 我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
  論文  参考訳（メタデータ） (2023-11-22T08:57:55Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Two Sides of Miscalibration: Identifying Over and Under-Confidence Prediction for Network Calibration [1.192436948211501]
  安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。 ミススキャリブレーションは、過信と/または過信をモデル化する。 校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。 クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
  論文  参考訳（メタデータ） (2023-08-06T17:59:14Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。