論文の概要: SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation

• arxiv url: http://arxiv.org/abs/2607.05721v1
• Date: Tue, 07 Jul 2026 01:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.358804
• Title: SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation
• Title（参考訳）: SpanUQ: 大規模言語モデル生成のためのスパンレベル不確実性定量化
• Abstract要約: SPANUQは、高価なマルチサンプル推論から不確かさの知識を、隠れた状態への単一の前方通過に蒸留する軽量プローブである。 SPANUQ-BENCHは20Kプロンプト、293Kアノテートスパン、連続ソフトラベルからなる最初のスパンレベル不確実性ベンチマークである。 実験により、SPANUQは、最強のプローブベースラインと全てのサンプリングベース手法よりも優れた、最高のスパンレベルの不確かさを一貫して達成していることが示された。
• 参考スコア（独自算出の注目度）: 39.25766957943906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty estimation is essential not only for the trustworthy deployment of large language models (LLMs) but also as a foundation for self-refinement in LLM generation. However, existing approaches operate at suboptimal granularities: token-level scores lack semantic coherence, while sequence-level scores fail to localize errors. We formalize Span-Level Uncertainty Estimation (SLUE), a new task that targets the natural granularity for uncertainty: semantically coherent text spans, each conveying a single assessable unit of meaning. To address this task, we introduce SPANUQ, a lightweight probe that distills the uncertainty knowledge from expensive multi-sample inference into a single forward pass over LLM hidden states. SPANUQ employs a DETR-style span decoder to simultaneously detect spans and estimate their uncertainty via a Mixture of Beta distribution, trained with a principled combination of Beta NLL regression and contrastive ranking objectives. We construct SPANUQ-BENCH, the first span-level uncertainty benchmark comprising 20K prompts, 293K annotated spans, and continuous soft labels derived from multi-sample claim verification. Experiments on five LLM backbones show that SPANUQ consistently achieves the best span-level uncertainty quality, outperforming the strongest probe baseline and all sampling-based methods while being 10-20x faster. Its DETR-based span detector attains 0.910 F1, surpassing the best heuristic by 39.4%, enabling precise error localization that sequence-level methods cannot provide. The framework generalizes across five LLMs spanning two model families.
• Abstract（参考訳）: 不確実性推定は、大規模言語モデル(LLM)の信頼性の高い展開だけでなく、LLM生成における自己抑制の基盤としても不可欠である。 トークンレベルのスコアには意味的コヒーレンスがなく、シーケンスレベルのスコアはエラーのローカライズに失敗する。 Span-Level Uncertainity Estimation (SLUE) を定式化した。これは不確実性の自然な粒度を目標とする新しいタスクである。 この課題に対処するために、高価なマルチサンプル推論から不確実性知識をLLM隠蔽状態への単一のフォワードパスに蒸留する軽量プローブであるSPANUQを紹介する。 SPANUQはDETR方式のスパンデコーダを使用して、スパンを同時に検出し、ベータ分布の混合により不確実性を推定する。 SPANUQ-BENCHは20Kプロンプト、293Kアノテートスパン、マルチサンプルクレーム検証から導出した連続ソフトラベルからなる最初のスパンレベルの不確実性ベンチマークである。 5つのLCMバックボーンの実験により、SPANUQは最高レベルの不確実性を一貫して達成し、最強のプローブベースラインと全てのサンプリングベースの手法を10-20倍高速に上回った。 DETRベースのスパン検出器は0.910 F1に達し、最高のヒューリスティックを39.4%超し、シーケンスレベルの手法では提供できない正確なエラーローカライゼーションを可能にした。 このフレームワークは、2つのモデルファミリーにまたがる5つのLLMを一般化する。

関連論文リスト

• How Confident Is the First Token? An Uncertainty-Calibrated Prompt Optimization Framework for Large Language Model Classification and Understanding [4.852493246050006]
  大規模言語モデル(LLM)はアウトプットを自動回帰的に生成し、避けられないアウトプットの不確実性を引き起こす。 焦点損失にインスパイアされたファーストトケンベースの計量であるLSFU(Log-Scale Focal Uncertainty)を提案する。 UCPOFは、数点のベースラインよりも平均精度を6.03%向上し、フルRAGを5.75%上回り、平均検索トリガレートを50.66%低下させる。
  論文  参考訳（メタデータ） (2026-02-23T11:55:14Z)
• Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
  我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。 現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
  論文  参考訳（メタデータ） (2025-09-29T02:34:30Z)
• On Verbalized Confidence Scores for LLMs [25.160810008907397]
  大規模言語モデル(LLM)の不確実性定量化は、その応答に対するより人間的な信頼を確立することができる。 この研究は、出力トークンの一部として信頼度スコアで不確実性を言語化するようLLM自身に求めることに重点を置いている。 我々は、異なるデータセット、モデル、およびプロンプトメソッドに関して、言語化された信頼度スコアの信頼性を評価する。
  論文  参考訳（メタデータ） (2024-12-19T11:10:36Z)
• CLUE: Concept-Level Uncertainty Estimation for Large Language Models [49.92690111618016]
  大規模言語モデル(LLM)のための概念レベル不確実性推定のための新しいフレームワークを提案する。 LLMを利用して、出力シーケンスを概念レベルの表現に変換し、シーケンスを個別の概念に分解し、各概念の不確かさを個別に測定する。 我々は,文レベルの不確実性と比較して,CLUEがより解釈可能な不確実性推定結果を提供できることを示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-04T18:27:12Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Boosting Cross-Lingual Transfer via Self-Learning with Uncertainty Estimation [34.97086123805344]
  最近の多言語事前訓練型言語モデルは、目覚ましいゼロショット性能を実現している。 対象言語のラベルのないデータをさらに活用する自己学習フレームワークを提案する。 我々は,NER(Nond Entity Recognition)とNLI(Natural Language Inference)の2つの言語間タスクについて,40言語を網羅した不確実性で評価した。
  論文  参考訳（メタデータ） (2021-09-01T05:26:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。