論文の概要: DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2608.20717v1
• Date: Fri, 21 Aug 2026 03:48:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.372397
• Title: DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning
• Title（参考訳）: DirEAG: 数学的推論における言語的信頼の校正のためのディリクレ証拠収集
• Abstract要約: ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。 本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
• 参考スコア（独自算出の注目度）: 2.867517731896504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable confidence estimation is essential for using large language models in mathematical reasoning, but black-box verbalized confidence is difficult to calibrate. When the same problem is queried under multiple confidence-steering prompts, the resulting answer-confidence observations contain useful uncertainty information, yet their scales may shift across steering levels, models, and datasets. Existing black-box uncertainty methods often rely on answer agreement, sample consistency, or entropy, which describe output variation but do not model the numerical meaning of self-reported confidence. Conversely, direct averaging or heuristic aggregation of elicited confidence cannot learn prompt- and task-dependent bias. We propose DirEAG, a Dirichlet Evidence Aggregation method that converts each elicited answer-confidence observation into calibrated soft evidence over generated candidate answers and an additional null state, allowing the model to represent cases where none of the candidates is correct. Experiments on GSM8K, SVAMP, and GSM-Hard with Qwen, Mistral, and Gemma models show that, compared with direct confidence averaging and heuristic confidence-steering aggregation, DirEAG often achieves better calibration while maintaining competitive answer selection. Ablations further reveal that evidence aggregation and final binary calibration address distinct parts of the calibration problem.
• Abstract（参考訳）: 信頼度推定は数学的推論において大きな言語モデルを使用するには不可欠であるが,ブラックボックスの言語的信頼度を判断することは困難である。 同じ問題が複数の信頼管理プロンプトの下でクエリされると、結果の回答信頼度観測は有用な不確実性情報を含むが、そのスケールは、ステアリングレベル、モデル、データセットにまたがる可能性がある。 既存のブラックボックスの不確実性法は、しばしば答えの一致、サンプルの一貫性、エントロピーに依存し、出力の変動を記述するが、自己報告された自信の数値的な意味をモデル化しない。 逆に、引き起こされた信頼の直接的な平均的あるいはヒューリスティックな集約は、プロンプトとタスク依存バイアスを学習することはできない。 そこで我々は,DirEAG法を提案する。DirEAG法は,解答信頼度観測を,生成した解答に対する校正されたソフトエビデンスと付加的なヌル状態に変換する手法で,各候補が正解でない場合をモデルが表現できるようにする。 GSM8K、SVAMP、GSM-HardをQwen、Mistral、Gemmaモデルで実験したところ、DirEAGは平均的な信頼度とヒューリスティックな信頼-ステアリングアグリゲーションと比較して、競争力のある回答の選択を維持しながら、より良いキャリブレーションを達成することがしばしば示されている。 アブレーションにより、エビデンスアグリゲーションと最終二項キャリブレーションは、キャリブレーション問題の異なる部分に対処することが明らかとなった。

関連論文リスト

• When Confidence Signals Disagree: Local and Global Confidence in Autoregressive Language Models [0.0]
  自己回帰言語モデルにおいて,異なる信頼度が経験的に交換可能であるかを検討する。 MMLU と ARC Challenge 全体では、2つの信号は弱い相関関係にあり、その正しさと大きく異なる。 より大きい局所-グローバル信頼ギャップは、より高い回答エントロピー、より明確なサンプル回答、低いモーダル・アンサー濃度と関連している。
  論文  参考訳（メタデータ） (2026-09-15T10:08:48Z)
• Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models [7.714704554667688]
  大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。 LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。 判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
  論文  参考訳（メタデータ） (2026-08-23T16:09:54Z)
• The Computational Basis of Confidence in Large Language Models [2.8220151940446425]
  統計的決定信頼度を用いて言語モデルにおける信頼度を研究する。 回答ロジットは、潜在決定変数の単調な読み出しとして振る舞うことを示す。 これらの結果は、SDCを生物学的および人工知能の信頼性を研究するための統一的な枠組みとして確立している。
  論文  参考訳（メタデータ） (2026-07-14T07:24:32Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• LLMs Show No Signs Of Individuated Metacognition [0.023227405857540805]
  20大言語モデルから二項信頼判断を分解する。 信頼性が異なる2つのモデルも性能が異なるかどうかを問う。 いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。
  論文  参考訳（メタデータ） (2026-05-22T23:54:33Z)
• Confidence Geometry Reveals Trace-Level Correctness in Large Language Model Reasoning [5.094079537924077]
  信頼性トラジェクトリは、誤った推論トレースから正解であることを示す。 正確性関連情報は推論の尾に富む。 本稿では,信頼度評価のための信頼軌道から学習する軽量な推定器であるNeuralConfを提案する。
  論文  参考訳（メタデータ） (2026-05-16T05:57:00Z)
• Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
  既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。 モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。 我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
  論文  参考訳（メタデータ） (2026-03-06T04:03:13Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
  異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。 UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。 ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2025-09-01T13:14:58Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Verbalized Confidence Triggers Self-Verification: Emergent Behavior Without Explicit Reasoning Supervision [12.287123198288079]
  大規模言語モデル(LLM)の安全な配置には不確実性校正が不可欠である 我々は,スカラー信頼ラベルのみを用いた教師付き微調整が,言語モデルの自己検証行動を引き出すのに十分であることがわかった。 キャリブレーションされた不確実性に基づいて,テスト時間スケーリングによる性能向上を図った簡易な再考手法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T08:56:24Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。