論文の概要: When Words Fall Short: Iterative Synergy Between Verbalized Reasoning and Hidden Features for LLM Confidence Estimation

• arxiv url: http://arxiv.org/abs/2609.34454v1
• Date: Mon, 28 Sep 2026 07:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:27:50.47143
• Title: When Words Fall Short: Iterative Synergy Between Verbalized Reasoning and Hidden Features for LLM Confidence Estimation
• Title（参考訳）: 単語が短くなったとき: LLM信頼度推定のための言語推論と隠れた特徴の反復的相乗効果
• Abstract要約: Iterative Policy-Estimator Training (IPoET)は、言語化された推論トレースと情報表現の相補的な強みを相乗化するためのフレームワークである。 IPoETは、ポリシー最適化と推定器更新を交互に行い、推定器由来の信頼フィードバックをポリシー学習に統合する。
• 参考スコア（独自算出の注目度）: 13.619673867195438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Confidence estimation is crucial for developing trustworthy large language models (LLMs), with most methods following estimator-based or verbalization-based paradigms. While recent research increasingly focuses on improving verbalized self-reports of confidence, we challenge the prevailing view that this approach surpasses independent confidence estimators. Our empirical study shows that a dedicated confidence estimator can substantially outperform verbalized confidence, indicating that LLMs' internal representations contain richer confidence signals. Building on this finding, we propose Iterative Policy-Estimator Training (IPoET), a framework that synergizes the complementary strengths of verbalized reasoning traces and informative representations. IPoET alternates policy optimization with estimator updating, integrating estimator-derived confidence feedback into policy learning and refreshing the estimator on new policy rollouts. Experiments across diverse datasets and Qwen and Llama backbones demonstrate that, by iteratively exploiting richer hidden features and adapting to the evolving policy distribution, IPoET consistently outperforms both estimator- and verbalization-based baselines in-domain and achieves superior or comparable results across all out-of-domain metrics. For more details, refer to https://github.com/xyk829/ipoet.
• Abstract（参考訳）: 信頼度推定は信頼に足る大言語モデル(LLM)の開発に不可欠であり、ほとんどの手法は推定子に基づくか動詞に基づくパラダイムに従う。 最近の研究は、言語化された自信の自己申告を改善することに重点を置いているが、このアプローチが独立した信頼推定値を超えるという一般的な見方に挑戦する。 実験により,LLMの内部表現がよりリッチな信頼信号を含むことを示すために,主観的信頼度推定器が言語的信頼度を大幅に上回ることを示す。 本研究は,言語的推論トレースと情報的表現の相補的強みを相乗化するためのフレームワークであるIterative Policy-Estimator Training (IPoET)を提案する。 IPoETは、ポリシー最適化と、推定器の更新、推定器からの信頼フィードバックをポリシー学習に統合し、新しいポリシーロールアウトで推定器をリフレッシュする。 さまざまなデータセットとQwenとLlamaのバックボーンにわたる実験は、よりリッチな隠れた特徴を反復的に活用し、進化するポリシー分布に適応することにより、IPoETはドメイン内の推定値と言語ベースのベースラインの両方を一貫して上回り、ドメイン外のメトリクスで優れた結果または同等の結果を達成することを実証している。 詳細はhttps://github.com/xyk829/ipoetを参照のこと。

関連論文リスト

• Confidence Estimation in Automatic Short Answer Grading with LLMs [0.0]
  生成型大言語モデル(LLM)を用いた自動短解像(ASAG)は,タスク固有の微調整を伴わずに高い性能を示した。 LLMのグレーディングは依然として不完全であり、安全で効果的な人間とAIのコラボレーションには信頼性の高い信頼度推定が不可欠である。 本稿では,モデルに基づく信頼度信号とデータセット由来のアレータ的不確実性の明示的な推定を統合したハイブリッド信頼フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-30T20:26:10Z)
• Confidence Estimation for LLMs in Multi-turn Interactions [48.081802290688394]
  この研究は、マルチターン相互作用における信頼度推定に関する最初の体系的研究である。 そこで我々は,2つの主要なデシラタに基礎を置く形式的評価枠組みを構築した。 我々の研究は、より信頼性が高く信頼性の高い会話エージェントを開発するための基礎的な方法論を提供する。
  論文  参考訳（メタデータ） (2026-01-05T14:58:04Z)
• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Unifying Gradient Estimators for Meta-Reinforcement Learning via Off-Policy Evaluation [53.83642844626703]
  オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。 本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
  論文  参考訳（メタデータ） (2021-06-24T15:58:01Z)
• An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
  エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。 以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T09:51:59Z)
• CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
  強化学習における高信頼行動非依存のオフ政治評価について検討する。 様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
  論文  参考訳（メタデータ） (2020-10-22T12:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。