論文の概要: Evaluating LLM Uncertainty in Long-Form Generation Using Deterministic Ground Truth
- arxiv url: http://arxiv.org/abs/2607.03870v1
- Date: Sat, 04 Jul 2026 13:25:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.741047
- Title: Evaluating LLM Uncertainty in Long-Form Generation Using Deterministic Ground Truth
- Title（参考訳）: 決定論的地盤真理を用いた長期発電におけるLLM不確かさの評価
- Abstract要約: ロングフォーム・ジェネレーション・ベンチマークは決定論的根拠の真理ではなく、誤認可能なラベルに依存する傾向にある。
本研究では,1つの決定論的長文基底真理を持つ6つの手続き的タスクのベンチマークであるSingle-Awer Atomic Long-form Target (SALT)を紹介する。
SALTは世代を通して制御された原子レベルの介入を可能にし、将来のエラーの2つの分離可能なドライバを明らかにする。
- 参考スコア（独自算出の注目度）: 11.568922058618497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As LLMs generate increasingly long outputs, effective uncertainty estimation must identify errors at fine-grained levels rather than discard entire responses. While such methods exist, evaluating uncertainty at any resolution (token to an entire generation) is challenging and highly sensitive to label imperfections, making zero-noise benchmarks essential; yet, long-form generation benchmarks tend to rely on fallible labels rather than deterministic ground truth. We introduce Single-answer Atomic Long-form Target (SALT), a benchmark of six procedurally generated tasks with single deterministic long textual ground truths, enabling unit-level evaluation of correctness, calibration, and ranking without external judges. Equipped with SALT, our analysis of 50+ LLMs reveals key insights: We identify which confidence functions dominate each uncertainty aspect and show that confidence ranking largely breaks at atomic resolution, even when clearer separability emerges at coarser line-level units. SALT further enables controlled atom-level interventions throughout generation, revealing two separable drivers of future errors: propagation from corrupted prefixes, dominated by global context correctness, and bounded degradation from increasing answer-context length. Finally, we demonstrate that reasoning, via Chain-of-Thought prompting or internalized through training, introduces a trade-off, improving accuracy while degrading confidence ranking. These findings directly impact risk-critical applications requiring reliable error identification and mitigation.
- Abstract（参考訳）: LLMがより長い出力を生成するにつれて、効果的な不確実性推定は、応答全体を破棄するのではなく、きめ細かいレベルでエラーを特定する必要がある。
このような手法は存在するが、どの解像度でも不確実性を評価することは困難であり、ラベルの不完全性に対して非常に敏感であり、ゼロノイズベンチマークが不可欠である。
単問解答アトミック・ロングフォーム・ターゲット (SALT) は、単一の決定論的長文基底真理を持つ6つの手続き的に生成されたタスクのベンチマークであり、外部の判断なしで正確性、校正、ランキングの単位レベルの評価を可能にする。
我々は、信頼関数がそれぞれの不確実性面を支配しているかを特定し、より明確な分離性が粗い線単位で現れる場合でも、信頼性ランキングが原子分解能で大きく破れることを示す。
SALTはさらに、世代を通して制御された原子レベルの介入を可能にし、将来のエラーの2つの分離可能なドライバを明らかにする。
最後に,信頼度を低下させつつ,信頼度を低下させつつ,推論がトレーニングによって促進または内部化されることを実証する。
これらの結果は、信頼性の高いエラー識別と緩和を必要とするリスククリティカルなアプリケーションに直接影響する。
関連論文リスト
- Exploring Agentic Tool-Calling Decisions via Uncertainty-Aligned Reinforcement Learning [63.24624171679711]
大規模言語モデル(LLM)ベースのエージェントは、しばしば最適なツール使用の決定を行う。
本研究では、不確実性分離を維持するための推進力として、不確実性定量化を報酬設計に組み込んだTRUSTを提案する。
論文 参考訳（メタデータ） (2026-06-05T07:08:34Z) - LLMs Should Express Uncertainty Explicitly [19.324830531710024]
モデルが最終回答の正当性スコアを口頭弁別するグローバルインターフェースと、推論中に明確な不確定なマーカーを出力するローカルインターフェースの2つの相補的インターフェースを比較した。
垂直化信頼度はキャリブレーションを大幅に改善し、過信エラーを低減し、アダプティブRAGコントローラとして最強となる。
推論時不確実性信号は、生成中に前もってサイレント障害を可視化し、回答のカバレッジを改善し、効果的なハイリコール検索トリガを提供する。
論文 参考訳（メタデータ） (2026-04-07T01:20:29Z) - Certainty robustness: Evaluating LLM stability under self-challenging prompts [0.5156484100374058]
大規模言語モデル(LLM)は、確実性や真実を推論する明確なメカニズムが欠如しているにもかかわらず、高い自信を持って答えを提示することが多い。
本稿では,LLMの安定性と適応性のバランス性を評価するための2ターン評価フレームワークであるCertainty Robustness Benchmarkを紹介する。
我々はLiveBenchの200の推論と数学の質問を用いて、4つの最先端LCMを評価し、正当性のある自己補正と正当性のない答えの変化を区別する。
論文 参考訳（メタデータ） (2026-02-10T18:07:51Z) - Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations [49.84786015324238]
信頼度推定(CE)は、大きな言語モデル(LLM)の回答がどれほど信頼性が高いかを示し、ユーザの信頼と意思決定に影響を与える可能性がある。
本稿では,CEの信頼性を3つの新しい側面で評価する総合評価フレームワークを提案する。
これには、急激な摂動に対する自信の堅牢性、意味論的に等価な答えに対する安定性、意味論的に異なる答えに対する感受性が含まれる。
論文 参考訳（メタデータ） (2026-01-12T23:16:50Z) - Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness [4.129847064263056]
ルーブリックをベースとした短問合せ学習における大規模言語モデルの性能を体系的に評価する。
二つのタスクに対してアライメントは強いが、粗い粒度が増すにつれて劣化する。
実験により、モデルが注射に抵抗性がある一方で、同義置換に敏感であることが判明した。
論文 参考訳（メタデータ） (2025-12-21T05:22:04Z) - Towards Reliable LLM-based Robot Planning via Combined Uncertainty Estimation [68.106428321492]
大規模言語モデル (LLM) は高度な推論能力を示し、ロボットが自然言語の命令を理解し、適切な接地で高レベルな計画を生成することができる。
LLMの幻覚は重大な課題であり、しばしば過度に信頼され、不一致または安全でない計画に繋がる。
本研究は, 信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性評価を別々に評価するものである。
論文 参考訳（メタデータ） (2025-10-09T10:26:58Z) - Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。
本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
論文 参考訳（メタデータ） (2025-08-11T16:12:36Z) - MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs [66.14178164421794]
メタファイト(MetaFaith)は、ヒトのメタ認知に触発された新規なプロンプトベースのキャリブレーション手法である。
MetaFaithは多種多様なモデルやタスク領域における忠実なキャリブレーションを強力に改善し、忠実度を最大61%向上させることができることを示す。
論文 参考訳（メタデータ） (2025-05-30T17:54:08Z) - Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models [0.6091702876917281]
大規模言語モデル(LLM)は、自然言語処理において顕著な熟練度を示す。
予測された信頼と真の正しさの過度なミスサライメントは、重要な意思決定アプリケーションに重大なリスクをもたらす。
9つのLCMと3つの質問応答データセットにわたるLCMの校正に関する包括的分析を行った。
論文 参考訳（メタデータ） (2025-02-16T07:46:09Z) - Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。
また,信頼度の高い自己補正(textbfConFix$)も開発した。
論文 参考訳（メタデータ） (2024-11-20T14:15:18Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳（メタデータ） (2023-12-14T19:09:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。