論文の概要: Each Insufficient in Its Own Way: Calibrating Language Models Across Varying Evidence States

• arxiv url: http://arxiv.org/abs/2610.33237v1
• Date: Fri, 23 Oct 2026 19:39:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.27896
• Title: Each Insufficient in Its Own Way: Calibrating Language Models Across Varying Evidence States
• Title（参考訳）: それぞれに不十分な言語モデル
• Abstract要約: 言語モデルは、それらが不十分な証拠であっても答える傾向がある。 モデルが各エビデンス状態から正解する頻度に一致するように、モデルの次点分布にすでに存在する信頼度を微調整する。 その自信は経験的成功率と一致し、証拠の量だけでなく、どの証拠が存在するかにも反応する。
• 参考スコア（独自算出の注目度）: 6.3556018651128925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can a language model know whether it has enough evidence to answer? Language models tend to answer even when the evidence they have is insufficient. Deciding whether to answer or gather more evidence requires a calibrated estimate of how likely an answer is to be correct with the available evidence. However, most calibration work treats the input as fixed, without asking how this estimate should change with the evidence. We introduce \emph{evidence-state calibration}, which requires a model's confidence before answering to match its probability of answering correctly and to change accordingly whenever the evidence changes this probability. We propose \ours{} (\textbf{Suffi}ciency \textbf{C}onfidence \textbf{E}stimation), which fine-tunes the confidence already present in a model's next-token distribution to match how often the model answers correctly from each evidence state. Across clinical diagnosis and multi-hop question answering with four models from two families, \ours{} reduces the Brier score by up to 60\% and increases AUROC by up to 0.16. Its confidence matches the empirical success rate and responds not only to the amount of evidence but also to which evidence is present, showing that models can learn to judge whether their current evidence is enough to answer.
• Abstract（参考訳）: 言語モデルが答える十分な証拠があるかどうかを知るにはどうすればいいのか? 言語モデルは、それらが不十分な証拠であっても答える傾向がある。 より多くの証拠に答えるか、収集するかを決めるには、利用可能な証拠で答えが正しいかどうかを正当に見積もる必要がある。 しかし、ほとんどの校正作業は、この見積もりが証拠とともにどのように変化するべきかを問うことなく、入力を固定として扱う。 モデルが正解する確率と正解する確率を一致させ、証拠がこの確率を変化させるたびにそれに応じて変化する前に、モデルの信頼性を必要とする「emph{evidence-state calibration」を導入する。 モデルが各エビデンス状態から正解する頻度に一致するように、モデルの次トーケン分布に存在する信頼度を微調整する。 臨床診断と2つの家系の4つのモデルで答えるマルチホップ質問では、 \ours{} は Brier スコアを 60 % まで減少させ、AUROC を 0.16 まで増加させる。 その自信は経験的成功率と一致し、証拠の量だけでなく、どの証拠が存在するかにも反応する。

関連論文リスト

• Calibration, Not Answer Selection: Distilling Internal Confidence in Reasoning Models [34.46304985255693]
  言語化された自信は、モデルが答えにコミットする意思があるかを追跡します。 実際の質問応答では、思考の連鎖と答えの間の隠れ状態に対する線形プローブは、かなりよく校正されている。 Probe-SDは、モデル自身のサンプルトレースをプローブでスコアし、各トレース状態の信頼性を上書きし、同じファミリーのベースチェックポイントを微調整する。
  論文  参考訳（メタデータ） (2026-09-27T06:52:17Z)
• DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning [2.867517731896504]
  ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。 本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
  論文  参考訳（メタデータ） (2026-08-21T03:48:25Z)
• Don't Let Me Ask for It: LLMs Show Deficiencies in Active Multi-Turn Information Acquisition for Abductive Inference [15.768100289136392]
  帰納的推論は、観察された証拠を説明し、新しい証拠が利用可能になるにつれてそれらを修正する仮説を形成する必要がある。 本稿では、異なる相互作用モード下でこれらの振る舞いを研究するための対話型プローブであるAlien Abductionを紹介する。
  論文  参考訳（メタデータ） (2026-08-04T09:39:24Z)
• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• Calibrating the Confidence of Large Language Models by Eliciting Fidelity [52.47397325111864]
  RLHFのようなテクニックで最適化された大規模な言語モデルは、有用で無害な点において優れた整合性を実現している。 調整後、これらの言語モデルはしばしば過剰な自信を示し、表現された自信は正確さの度合いで正確に校正しない。 本稿では,言語モデルの信頼度を推定するプラグイン・アンド・プレイ手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T11:36:12Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• Teaching Models to Express Their Uncertainty in Words [6.356472059420951]
  我々は,GPT-3モデルを用いて,自然言語による解答の不確実性を表現することができることを示す。 モデルが自然言語で自身の答えについて校正された不確実性を表現したのはこれが初めてである。
  論文  参考訳（メタデータ） (2022-05-28T05:02:31Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。