論文の概要: Don't Miss the Forest for the Trees: In-Depth Confidence Estimation for LLMs via Reasoning over the Answer Space

• arxiv url: http://arxiv.org/abs/2511.14275v1
• Date: Tue, 18 Nov 2025 09:09:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:53.027352
• Title: Don't Miss the Forest for the Trees: In-Depth Confidence Estimation for LLMs via Reasoning over the Answer Space
• Title（参考訳）: 樹木の森を見逃すな:答え空間上の推論によるLLMの深い信頼度推定
• Authors: Ante Wang, Weizhi Ma, Yang Liu,
• Abstract要約: 本研究では,言語化された確率分布の予測が,信頼度推定のための奥行き推論を効果的に促進できることを実証する。 この方法は、解答空間が知られているかどうかに関わらず、異なるモデルと様々なタスクにまたがる利点を示す。
• 参考スコア（独自算出の注目度）: 16.679707332912255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowing the reliability of a model's response is essential in application. With the strong generation capabilities of LLMs, research has focused on generating verbalized confidence. This is further enhanced by combining chain-of-thought reasoning, which provides logical and transparent estimation. However, how reasoning strategies affect the estimated confidence is still under-explored. In this work, we demonstrate that predicting a verbalized probability distribution can effectively encourage in-depth reasoning for confidence estimation. Intuitively, it requires an LLM to consider all candidates within the answer space instead of basing on a single guess, and to carefully assign confidence scores to meet the requirements of a distribution. This method shows an advantage across different models and various tasks, regardless of whether the answer space is known. Its advantage is maintained even after reinforcement learning, and further analysis shows its reasoning patterns are aligned with human expectations.
• Abstract（参考訳）: モデルの応答の信頼性を知ることは、アプリケーションにおいて不可欠である。 LLMの強力な生成能力は、言語化された信頼を生み出すことに焦点を当てている。 これは、論理的かつ透明な推定を提供するチェーン・オブ・ソート推論を組み合わせることでさらに強化される。 しかし、推理戦略が信頼度にどのように影響するかはまだ未定である。 本研究では,言語化された確率分布の予測が,信頼度推定のための奥行き推論を効果的に促進できることを実証する。 直感的には、1つの推測に基づくのではなく、答え空間内のすべての候補を考慮し、分布の要求を満たすために、信頼スコアを慎重に割り当てる必要がある。 この方法は、解答空間が知られているかどうかに関わらず、異なるモデルと様々なタスクにまたがる利点を示す。 その優位性は強化学習後にも維持され、さらなる分析によりその推論パターンが人間の期待に合致していることが示されている。

関連論文リスト

• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)
• Read Your Own Mind: Reasoning Helps Surface Self-Confidence Signals in LLMs [2.4892313127400962]
  質問応答(QA)タスクにおける自己報告された言語信頼度を分析して,DeepSeek R1-32Bの不確実性の原因について検討した。 我々はDeepSeekに、最終回答の前に長い連鎖を強制することで、その分布を探求する予算を与えることで、その言語スコアの有効性を大幅に改善することを示します。
  論文  参考訳（メタデータ） (2025-05-28T17:01:30Z)
• On Verbalized Confidence Scores for LLMs [25.160810008907397]
  大規模言語モデル(LLM)の不確実性定量化は、その応答に対するより人間的な信頼を確立することができる。 この研究は、出力トークンの一部として信頼度スコアで不確実性を言語化するようLLM自身に求めることに重点を置いている。 我々は、異なるデータセット、モデル、およびプロンプトメソッドに関して、言語化された信頼度スコアの信頼性を評価する。
  論文  参考訳（メタデータ） (2024-12-19T11:10:36Z)
• Learning to Route LLMs with Confidence Tokens [43.63392143501435]
  大規模言語モデル(LLM)は、いくつかのタスクにおいて印象的なパフォーマンスを示し、現実のアプリケーションにますますデプロイされている。 高精細度設定では、LCMの出力がいつ信頼できないかを知ることが不可欠となる。 本研究では,LLMが回答の信頼度を確実に示すことができる範囲と,この信頼度の概念が下流の精度向上にどのように変換できるかを考察する。
  論文  参考訳（メタデータ） (2024-10-17T07:28:18Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
  本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。 このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。 このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-03-15T02:38:26Z)
• Evaluate Confidence Instead of Perplexity for Zero-shot Commonsense Reasoning [85.1541170468617]
  本稿では,コモンセンス推論の性質を再考し,新しいコモンセンス推論尺度であるNon-Replacement Confidence(NRC)を提案する。 提案手法は,2つのコモンセンス推論ベンチマークデータセットと,さらに7つのコモンセンス質問応答データセットに対してゼロショット性能を向上する。
  論文  参考訳（メタデータ） (2022-08-23T14:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。