論文の概要: Conformal Prediction Sets for Next-Token Prediction in Large Language Models: Balancing Coverage Guarantees with Set Efficiency

• arxiv url: http://arxiv.org/abs/2512.22682v1
• Date: Sat, 27 Dec 2025 19:08:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.176483
• Title: Conformal Prediction Sets for Next-Token Prediction in Large Language Models: Balancing Coverage Guarantees with Set Efficiency
• Title（参考訳）: 大規模言語モデルにおける次トーケン予測のためのコンフォーマル予測セット:設定効率による包括的保証のバランス
• Authors: Yoshith Roy Kotla, Varshith Roy Kotla,
• Abstract要約: 本稿では,大きな語彙を持つ変圧器モデルにおいて,適応予測集合(APS)を次トーケン予測に適用する体系的な研究を行う。 本稿では,語彙認識型コンフォーマル予測(VACP)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying large language models (LLMs) in high-stakes domains requires rigorous uncertainty quantification, yet standard softmax probabilities are often poorly calibrated. We present a systematic study of Adaptive Prediction Sets (APS) applied to next-token prediction in transformer-based models with large vocabularies (greater than 250,000 tokens). Our central contribution is the identification of a coverage-efficiency tradeoff: while naive conformal prediction achieves valid coverage, it produces prediction sets of hundreds of tokens, rendering them uninformative. We propose Vocabulary-Aware Conformal Prediction (VACP), a framework that leverages semantic masking and temperature-adjusted scoring to reduce the effective prediction space while provably maintaining marginal coverage. Experiments on Gemma-2B using SQUAD and WikiText benchmarks demonstrate that VACP achieves 89.7 percent empirical coverage (90 percent target) while reducing the mean prediction set size from 847 tokens to 4.3 tokens -- a 197x improvement in efficiency. We provide a theoretical analysis of vocabulary reduction and release our implementation for reproducibility.
• Abstract（参考訳）: 大規模言語モデル(LLM)を高精細領域に展開するには厳密な不確実性定量化が必要であるが、標準的なソフトマックス確率は校正が不十分であることが多い。 本稿では,大語彙(25万トークン以上)の変圧器モデルにおいて,適応予測集合(APS)を次トーケン予測に適用する体系的な研究を行う。 我々の中心的な貢献は、カバレッジ効率のトレードオフの特定である: 単純でコンフォーマルな予測が有効なカバレッジを達成する一方で、数百のトークンの予測セットを生成し、それらを非形式的にします。 本稿では,セマンティックマスキングと温度調整によるスコアリングを活用するフレームワークであるVocabulary-Aware Conformal Prediction (VACP)を提案する。 SQUADとWikiTextのベンチマークを用いたGemma-2Bの実験では、VACPは89.7%の経験的カバレッジ(90%のターゲット)を達成し、平均予測セットのサイズを847トークンから4.3トークンに削減した。 語彙還元の理論解析を行い,再現性向上のための実装をリリースする。

関連論文リスト

• Optimal Conformal Prediction under Epistemic Uncertainty [61.46247583794497]
  コンフォーマル予測(CP)は不確実性を表すための一般的なフレームワークである。 条件付きカバレッジを保証する最小の予測セットを生成するBernoulli予測セット(BPS)を導入する。 1次予測を与えられた場合、BPSはよく知られた適応予測セット(APS)に還元する。
  論文  参考訳（メタデータ） (2025-05-25T08:32:44Z)
• Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
  有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。 本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-17T12:01:56Z)
• Stochastic Online Conformal Prediction with Semi-Bandit Feedback [29.334511328067777]
  実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。 本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-22T00:42:49Z)
• Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
  コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。 我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。 SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
  論文  参考訳（メタデータ） (2023-10-10T08:54:14Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
  ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。 本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。 ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
  論文  参考訳（メタデータ） (2021-12-15T15:17:02Z)
• Conformal prediction for text infilling and part-of-speech prediction [0.549690036417587]
  そこで本研究では,テキスト埋込処理と音声のパート・オブ・音声予測のタスクに対して,帰納的共形予測アルゴリズムを提案する。 57,000以上の文を含むBrown Corpusを用いて,シミュレーションにおけるアルゴリズムの性能を解析した。
  論文  参考訳（メタデータ） (2021-11-04T02:23:05Z)
• Uncertainty Sets for Image Classifiers using Conformal Prediction [112.54626392838163]
  本稿では,任意の分類器を修飾して真のラベルを含む予測集合を,90%などのユーザ指定確率で出力するアルゴリズムを提案する。 このアルゴリズムはPlatetスケーリングのようにシンプルで高速だが、すべてのモデルとデータセットに対して正式な有限サンプルカバレッジを保証する。 提案手法は,Plattスケーリング後の可逆クラスの小さなスコアを正規化することにより,より安定した予測セットを与えるために,既存の共形予測アルゴリズムを改良する。
  論文  参考訳（メタデータ） (2020-09-29T17:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。