Fugu-MT 論文翻訳(概要): A Calibrated Reflection Approach for Enhancing Confidence Estimation in LLMs

論文の概要: A Calibrated Reflection Approach for Enhancing Confidence Estimation in LLMs

arxiv url: http://arxiv.org/abs/2609.04539v1
Date: Thu, 03 Sep 2026 22:52:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-07 18:15:23.845369
Title: A Calibrated Reflection Approach for Enhancing Confidence Estimation in LLMs
Title（参考訳）: LLMにおける信頼度推定のための校正反射法
Abstract要約: Calibrated Reflectionは、構造化推論と距離対応キャリブレーション技術を組み合わせたフレームワークである。我々は,HelpSteer2,Llama T-REx,プロプライエタリな会話データセットなど,さまざまなデータセットに関するフレームワークの評価を行った。
参考スコア（独自算出の注目度）: 3.9353006440879525
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A critical challenge in deploying Large Language Models (LLMs) is developing reliable mechanisms to estimate their confidence, enabling systems to determine when to trust model outputs versus seek human intervention. We present a Calibrated Reflection approach for enhancing confidence estimation in LLMs, a framework that combines structured reasoning with distance-aware calibration technique. Our approach introduces three key innovations: (1) a Maximum Confidence Selection (MCS) method that comprehensively evaluates confidence across all possible labels, (2) a reflection-based prompting mechanism that enhances reasoning reliability, and (3) a distance-aware calibration technique that accounts for ordinal relationships between labels. We evaluate our framework on diverse datasets, including HelpSteer2, Llama T-REx, and a proprietary conversational dataset, demonstrating its effectiveness across both conversational and fact-based classification tasks. This work contributes to the broader goal of developing reliable and well-calibrated confidence estimation methods for LLMs, enabling informed decisions about model trust and human judgement.
Abstract（参考訳）: LLM(Large Language Models)のデプロイにおける重要な課題は、信頼性を見積もるための信頼性の高いメカニズムを開発することだ。本稿では,構造的推論と距離対応キャリブレーションを併用したLLMの信頼性評価のためのキャリブレーション手法を提案する。提案手法では,(1)ラベル間の信頼度を総合的に評価する最大信頼度選択(MCS)手法,(2)推論信頼性を高めるリフレクションベースプロンプト機構,(3)ラベル間の順序関係を考慮に入れた距離認識キャリブレーション手法を提案する。我々は、HelpSteer2、Llama T-REx、プロプライエタリな会話データセットなど、多様なデータセットに関するフレームワークを評価し、会話型および事実ベースの分類タスクにおいて、その有効性を示す。本研究は, LLMの信頼性・信頼性評価手法の開発に寄与し, モデル信頼と人的判断に関する情報的決定を可能にする。

関連論文リスト

Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs [60.80435138270317]
本稿では,メタ認知的フィードバックによる強化学習を忠実な校正問題に適用する。実験により、RLMFは様々なタスクにおいて汎用的で最先端のFCを実現することが示された。 RLMFは標準のRLを最大63%上回り、モデルの性能限界を評価し表現する能力を高めている。
論文参考訳（メタデータ） (2026-06-30T17:56:01Z)
Can LLMs Use Linguistic Uncertainty Markers to Reliably Reflect Intrinsic Confidence? [50.17126900886782]
モデルが、安定かつ一般化可能な方法でマーカーと特定の信頼レベルを関連付けるために、独自の言語的信頼フレームワークを適用できるかどうかは不明である。我々は,与えられたタスク領域において,モデルが特定のてんかんマーカーと関連付ける内在的信頼度として,_marker internal confidence_(MIC)を定式化する。分析フレームワークを多種多様なモデルやタスクに適用すると、LLMはマーカーの意味のモデル中心の解釈の下でも、忠実に誤解される。
論文参考訳（メタデータ） (2026-05-27T17:38:00Z)
Confidence Estimation in Automatic Short Answer Grading with LLMs [0.0]
生成型大言語モデル(LLM)を用いた自動短解像(ASAG)は,タスク固有の微調整を伴わずに高い性能を示した。 LLMのグレーディングは依然として不完全であり、安全で効果的な人間とAIのコラボレーションには信頼性の高い信頼度推定が不可欠である。本稿では,モデルに基づく信頼度信号とデータセット由来のアレータ的不確実性の明示的な推定を統合したハイブリッド信頼フレームワークを提案する。
論文参考訳（メタデータ） (2026-04-30T20:26:10Z)
Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
論文参考訳（メタデータ） (2026-04-25T14:40:13Z)
Enhancing Confidence Estimation in Telco LLMs via Twin-Pass CoT-Ensembling [1.8332654441845688]
大規模言語モデル(LLM)は、複雑な通信タスクにますます適用されている。 LLMが生み出す信頼スコアは、しばしばバイアスを受け、信頼できないものであり、しばしば体系的な過信を示す。我々は,信頼度推定を改善するための新しいCoT(Twin-Pass Chain of Thought)-Ensembling法を提案する。
論文参考訳（メタデータ） (2026-04-14T20:03:08Z)
On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
論文参考訳（メタデータ） (2026-02-14T01:07:45Z)
Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
論文参考訳（メタデータ） (2025-09-29T02:34:30Z)
Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
論文参考訳（メタデータ） (2025-08-16T13:29:35Z)
A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models [6.62851757612838]
大規模言語モデル(LLM)に対する現在の信頼度推定法は,応答と文脈情報の関連性を無視する。本稿では,2つの新しい指標を用いた信頼度推定のためのコンテキスト忠実度と一貫性を統合したCRUXを提案する。 3つのベンチマークデータセットに対する実験は、CRUXの有効性を示し、既存のベースラインよりも高いAUROCを達成した。
論文参考訳（メタデータ） (2025-08-01T12:58:34Z)
Confidence Estimation for LLM-Based Dialogue State Tracking [9.305763502526833]
大規模言語モデル(LLM)に基づく会話型AIシステムでは,モデルの出力に対する信頼度の推定が重要である。オープン・アンド・クローズド・ウェイト LLM に提案するアプローチを含む,手法の徹底的な探索を行う。以上の結果から, 微調整式オープンウェイトLLMはAUC性能が向上し, 信頼性スコアの校正精度が向上することが示唆された。
論文参考訳（メタデータ） (2024-09-15T06:44:26Z)
Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
信頼性・確率アライメントの概念を紹介します。モデルの内部と信頼感の一致を調査する。分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
論文参考訳（メタデータ） (2024-05-25T15:42:04Z)
Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
論文参考訳（メタデータ） (2024-03-15T02:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。