論文の概要: Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models

• arxiv url: http://arxiv.org/abs/2608.22483v1
• Date: Sun, 23 Aug 2026 16:09:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.778093
• Title: Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた信頼度決定のためのクレームレベル信頼度校正
• Abstract要約: 大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。 LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。 判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
• 参考スコア（独自算出の注目度）: 7.714704554667688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) increasingly support decision-making in high-stakes domains, but they often hallucinate and express confidence that is misaligned with factual correctness. Response-level confidence is a coarse signal: a single generation can mix correct and incorrect statements, so a single number is not actionable for users that must accept, reject, or verify individual pieces of information. We study claim-level confidence calibration as a decision-relevant uncertainty signal: each response is decomposed into atomic, verifiable claims, and each claim is assigned a calibrated confidence using inference-time signals from consistency across samples and self-verification. Our framework operates in closed-box settings (no logits, no fine-tuning) and applies post-hoc calibration directly at the claim level, enabling selective intervention such as evidence retrieval or human review for low-confidence claims. Across TriviaQA and TruthfulQA we evaluate seven baselines on six recent models (Llama-3.1, Mistral, Qwen2.5, DeepSeek-R1, GPT-4, GPT-4o), and show that claim-level decomposition combined with post-hoc calibration reduces expected calibration error on factual questions while exposing failure modes on adversarial false-premise questions where decision-makers most need reliable uncertainty estimates.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定を支援する傾向にあるが、事実の正しさと不一致した自信を幻覚し表現することが多い。 応答レベルの信頼性は粗い信号である: 単一の世代は正しい文と間違った文を混同することができるため、個々の情報の受け入れ、拒否、検証をしなければならないユーザに対しては、単一の番号が動作できない。 判定関連不確実性信号としてクレームレベルの信頼度校正について検討し、各応答を原子的で検証可能なクレームに分解し、各クレームをサンプル間の一貫性と自己検証から推測時間信号を用いてキャリブレーションされた信頼度を割り当てる。 我々のフレームワークはクローズドボックスで動作し(ロジットなし、微調整なし)、クレームレベルでポストホックキャリブレーションを直接適用し、証拠検索や低信頼のクレームに対するヒューマンレビューなどの選択的介入を可能にする。 TriviaQA と TruthfulQA 全体では,最近の6つのモデル (Llama-3.1, Mistral, Qwen2.5, DeepSeek-R1, GPT-4, GPT-4o) に対して7つのベースラインを評価する。

関連論文リスト

• DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning [2.867517731896504]
  ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。 本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
  論文  参考訳（メタデータ） (2026-08-21T03:48:25Z)
• Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees [0.5371337604556311]
  大規模言語モデル (LLM) は質問応答システム (QA) に徐々にデプロイされている。 信頼度を見積もることなく、幻覚または不一致の応答を生成することができる。 我々は、任意の不確実性スコアをリスク制御された選択応答規則に変換する信頼区間に基づくキャリブレーションフレームワークであるCICを提案する。
  論文  参考訳（メタデータ） (2026-07-05T17:50:32Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
  既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。 モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。 我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
  論文  参考訳（メタデータ） (2026-03-06T04:03:13Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Evaluating and Calibrating LLM Confidence on Questions with Multiple Correct Answers [11.832359446987551]
  既存のトレーニングフリー手法は,複数の有効な回答が存在する場合に故障することを示す。 本稿では,複数の高確率サンプル応答に対する信頼を集約するセマンティック信頼集約(SCA)を提案する。 SCAは、単一質問に対する強いキャリブレーションを維持しながら、混合回答設定下での最先端のキャリブレーション性能を達成する。
  論文  参考訳（メタデータ） (2026-02-08T07:03:27Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
  異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。 UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。 ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2025-09-01T13:14:58Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。