論文の概要: TECP: Token-Entropy Conformal Prediction for LLMs

• arxiv url: http://arxiv.org/abs/2509.00461v1
• Date: Sat, 30 Aug 2025 11:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.242882
• Title: TECP: Token-Entropy Conformal Prediction for LLMs
• Title（参考訳）: TECP:LLMのToken-Entropy Conformal Prediction
• Authors: Beining Xu,
• Abstract要約: Token-Entropy Conformal Prediction (TECP) は、トークンレベルのエントロピーをロジットフリーで参照不要な不確実性尺度として活用する新しいフレームワークである。 本手法は,ブラックボックスLLM設定における信頼に値する生成のための原理的かつ効率的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification (UQ) for open-ended language generation remains a critical yet underexplored challenge, especially under black-box constraints where internal model signals are inaccessible. In this paper, we introduce Token-Entropy Conformal Prediction (TECP), a novel framework that leverages token-level entropy as a logit-free, reference-free uncertainty measure and integrates it into a split conformal prediction (CP) pipeline to construct prediction sets with formal coverage guarantees. Unlike existing approaches that rely on semantic consistency heuristics or white-box features, TECP directly estimates epistemic uncertainty from the token entropy structure of sampled generations and calibrates uncertainty thresholds via CP quantiles to ensure provable error control. Empirical evaluations across six large language models and two benchmarks (CoQA and TriviaQA) demonstrate that TECP consistently achieves reliable coverage and compact prediction sets, outperforming prior self-consistency-based UQ methods. Our method provides a principled and efficient solution for trustworthy generation in black-box LLM settings.
• Abstract（参考訳）: オープンエンド言語生成の不確実性定量化(UQ)は、特に内部モデル信号がアクセスできないブラックボックス制約の下では、重要な課題である。 本稿では,トークンレベルのエントロピーをロジットフリーで参照不要な不確実性尺度として活用し,それを分割共形予測(CP)パイプラインに統合して,形式的カバレッジ保証を備えた予測セットを構築する,新しいフレームワークであるToken-Entropy Conformal Prediction(TECP)を紹介する。 意味整合性ヒューリスティックやホワイトボックス機能に依存する既存のアプローチとは異なり、TECPはサンプル世代におけるトークンエントロピー構造からの疫学的不確実性を直接推定し、CP量子化器を介して不確実性しきい値を校正し、証明可能なエラー制御を確実にする。 6つの大規模言語モデルと2つのベンチマーク(CoQAとTriviaQA)による実証的な評価により、TECPは信頼性のあるカバレッジとコンパクトな予測セットを一貫して達成し、従来の自己整合性に基づくUQ手法よりも優れていることが示された。 本手法は,ブラックボックスLLM設定における信頼に値する生成のための原理的かつ効率的なソリューションを提供する。

関連論文リスト

• Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
  異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。 UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。 ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2025-09-01T13:14:58Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Data-Driven Calibration of Prediction Sets in Large Vision-Language Models Based on Inductive Conformal Prediction [0.0]
  動的しきい値キャリブレーションとクロスモーダル整合性検証を統合したモデル非依存不確実性定量化法を提案する。 このフレームワークは、様々なキャリブレーションとテストの分割比で安定したパフォーマンスを実現し、医療、自律システム、その他の安全に敏感な領域における現実的な展開の堅牢性を強調している。 この研究は、マルチモーダルAIシステムにおける理論的信頼性と実用性の間のギャップを埋め、幻覚検出と不確実性を考慮した意思決定のためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-24T15:39:46Z)
• ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
  自己整合性理論に基づく新しい不確実性尺度を導入する。 次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。 実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-29T17:33:07Z)
• Conformal Prediction for Federated Uncertainty Quantification Under Label Shift [57.54977668978613]
  Federated Learning(FL)は、多くのクライアントが協力してモデルをトレーニングする機械学習フレームワークである。 我々は、量子回帰に基づく新しいコンフォメーション予測法を開発し、プライバシー制約を考慮した。
  論文  参考訳（メタデータ） (2023-06-08T11:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。