Fugu-MT 論文翻訳(概要): ORCE: Order-Aware Alignment of Verbalized Confidence in Large Language Models

論文の概要: ORCE: Order-Aware Alignment of Verbalized Confidence in Large Language Models

arxiv url: http://arxiv.org/abs/2605.12446v1
Date: Tue, 12 May 2026 17:39:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-13 21:48:57.057397
Title: ORCE: Order-Aware Alignment of Verbalized Confidence in Large Language Models
Title（参考訳）: ORCE:大規模言語モデルにおける言語信頼の順序付きアライメント
Authors: Chen Li, Xiaoling Hu, Songzhu Zheng, Jiawei Zhou, Chao Chen,
Abstract要約: 本稿では,言語的信頼度校正のための疎結合・秩序対応フレームワークを提案する。提案手法は,まず回答を生成し,固定された質問対に条件付き信頼度を推定する。実験により,本手法は解答精度を大きく保ちながらキャリブレーションと故障予測性能を向上させることが示された。
参考スコア（独自算出の注目度）: 17.761630515662947
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Large language models (LLMs) often produce answers with high certainty even when they are incorrect, making reliable confidence estimation essential for deployment in real-world scenarios. Verbalized confidence, where models explicitly state their confidence in natural language, provides a flexible and user-facing uncertainty signal that can be applied even when token logits are unavailable. However, existing verbalized-confidence methods often optimize answer generation and confidence generation jointly, which can cause confidence-alignment objectives to interfere with answer accuracy. In this work, we propose a decoupled and order-aware framework for verbalized confidence calibration. Our method first generates an answer and then estimates confidence conditioned on the fixed question--answer pair, allowing confidence optimization without directly perturbing the answer-generation process. To align confidence with correctness likelihood, we construct a sampling-based surrogate from multiple model completions and optimize rank-based reinforcement learning objectives that encourage responses with higher estimated correctness likelihood to receive higher verbalized confidence. Experiments on reasoning and knowledge-intensive benchmarks show that our method improves calibration and failure prediction performance while largely preserving answer accuracy. These results demonstrate that verbalized confidence can be more reliably aligned by decoupling confidence estimation from answer generation and optimizing the relative ordering of confidence across responses.
Abstract（参考訳）: 大規模言語モデル(LLM)は、誤った場合でも高い確実性で回答を生成することが多く、現実のシナリオに展開するためには信頼性の高い信頼度推定が不可欠である。モデルが自然言語に対する信頼を明示的に表現する、言語化された信頼性は、トークンのロジットが利用できない場合でも適用可能な、フレキシブルでユーザ向きの不確実性信号を提供する。しかし、既存の言語化信頼法は、回答生成と信頼生成を共同で最適化することが多く、信頼調整目標が回答精度に干渉する可能性がある。本研究では,言語的信頼度校正のための疎結合・秩序対応フレームワークを提案する。提案手法はまず,解答生成過程を直接摂動することなく,信頼度を解答対に設定した信頼度を推定する。信頼性を正当性に整合させるため,複数のモデル補完からサンプリングベースサロゲートを構築し,高い推定正当性を持つ応答を促進させるランクベース強化学習目標を最適化する。推論および知識集約型ベンチマーク実験により,本手法は解答精度を大きく保ちながら校正および故障予測性能を向上することを示した。これらの結果は,回答生成から信頼推定を分離し,回答間の信頼の相対的な順序付けを最適化することにより,発話された信頼度をより確実に一致させることができることを示す。

関連論文リスト

Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
論文参考訳（メタデータ） (2026-03-06T04:03:13Z)
ADVICE: Answer-Dependent Verbalized Confidence Estimation [7.331438721730309]
言語的信頼の基盤となる力学を詳細に分析する。我々は、回答の独立性を重要な要因とみなし、モデルが自身の回答に自信を持てないことを前提としています。本稿では,回答基底の信頼度推定を容易にする微調整フレームワークを提案する。
論文参考訳（メタデータ） (2025-10-13T02:18:33Z)
Calibrating Verbalized Confidence with Self-Generated Distractors [24.56911906044891]
DINCO(Distractor-Normalized Coherence)を紹介する。 DINCOは、LLMの予測可能性バイアスを推定し、いくつかの自己生成障害に対してモデルに独立して信頼性を持たせることによって説明している。我々は、自己整合性の一般的なアプローチを、サンプル世代間でのコヒーレンスを活用すること、および非互換なクレーム上での検証におけるコヒーレンスを活用することとして、言語化された信頼を正規化したものである。
論文参考訳（メタデータ） (2025-09-29T21:41:22Z)
ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
論文参考訳（メタデータ） (2025-08-26T09:25:32Z)
Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
論文参考訳（メタデータ） (2025-08-16T13:29:35Z)
Verbalized Confidence Triggers Self-Verification: Emergent Behavior Without Explicit Reasoning Supervision [12.287123198288079]
大規模言語モデル(LLM)の安全な配置には不確実性校正が不可欠である我々は,スカラー信頼ラベルのみを用いた教師付き微調整が,言語モデルの自己検証行動を引き出すのに十分であることがわかった。キャリブレーションされた不確実性に基づいて,テスト時間スケーリングによる性能向上を図った簡易な再考手法を提案する。
論文参考訳（メタデータ） (2025-06-04T08:56:24Z)
Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models [34.59785123314865]
LLM(Large Language Models)の安全かつ信頼性の高い使用には、その回答に対する信頼性の正確な表現が必要である。そこで本研究では,LLMを直接微調整し,評価された信頼度を,実際の質問に対する回答とともに表現できる新しい強化学習手法を提案する。
論文参考訳（メタデータ） (2025-03-04T13:48:50Z)
Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。また,信頼度の高い自己補正(textbfConFix$)も開発した。
論文参考訳（メタデータ） (2024-11-20T14:15:18Z)
When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。品質報酬と秩序保存アライメント報酬機能を統合する。実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
論文参考訳（メタデータ） (2024-04-26T09:42:46Z)
An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
論文参考訳（メタデータ） (2021-01-14T09:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。