論文の概要: Conformal Prediction with Paraphrase-Aware Scoring for LLM Uncertainty Quantification

• arxiv url: http://arxiv.org/abs/2610.04239v1
• Date: Sat, 03 Oct 2026 03:01:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 19:10:26.45924
• Title: Conformal Prediction with Paraphrase-Aware Scoring for LLM Uncertainty Quantification
• Title（参考訳）: LLM不確実性定量化のためのパラフレーズ対応スコーリングによる等角予測
• Abstract要約: 大規模言語モデルの不確実性定量化(UQ)は、予測信頼度を確実に測定することを目的としている。 本稿では,意味的リワードに頑健な言い換え型UQフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 28.141040897676827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty quantification (UQ) for large language models (LLMs) aims to provide reliable measures of predictive confidence, yet current methods are often unstable under meaning-preserving perturbations. Semantically equivalent paraphrases can induce substantial variability in predictive confidence, even for methods with formal guarantees, such as conformal prediction. To address this issue, we propose a paraphrase-aware UQ framework robust to semantic rewordings. Our approach trains a lightweight proxy model on LLM hidden states and aggregates its predictions across paraphrases to construct label-wise nonconformity scores. Under score exchangeability, conformal calibration retains marginal coverage. This guarantee can also hold under test-only rewording, provided that the paraphrase pipeline satisfies an additional distributional alignment condition. We evaluate three settings (normal, fully reworded, and semi-reworded) which apply rewording to neither dataset, both calibration and test datasets, or only the test dataset, respectively. Across seven multiple-choice QA benchmarks and multiple model families, our method produces compact prediction sets with empirical coverage generally near the nominal target, even in the semi-reworded setting. Ablation studies show that the learned proxy accounts for most of the reduction in set size, while paraphrase-augmented training and inference-time aggregation improve stability under rewording. Code is available at https://github.com/Raina-Xin/PA_Score.
• Abstract（参考訳）: 大規模言語モデル(LLM)の不確実性定量化(UQ)は、予測信頼性の信頼性向上を目的としているが、現在の手法は、しばしば意味保存の摂動の下で不安定である。 意味論的に等価なパラフレーズは、共形予測のような形式的な保証のある方法であっても、予測的信頼の実質的な変動を誘導することができる。 この問題に対処するために,意味的リワードに頑健な言い換え型UQフレームワークを提案する。 提案手法では,LLM隠れ状態の軽量プロキシモデルをトレーニングし,その予測をパラフレーズ全体にわたって集約し,ラベルの非整合性スコアを構築する。 スコア交換性の下では、コンフォメーションキャリブレーションは限界範囲を保っている。 この保証は、パラフレーズパイプラインが追加の分散アライメント条件を満たすことを条件として、テストのみのリワードでも保持できる。 キャリブレーションとテストデータセットの両方、あるいはテストデータセットのみにリワードを適用する3つの設定(通常、完全リワード、半リワード)を評価します。 提案手法は、7つの複数選択QAベンチマークと複数のモデルファミリにまたがって、半単語設定であっても、通常、名目対象付近で経験的カバレッジを持つコンパクトな予測セットを生成する。 アブレーション研究では、学習されたプロキシがセットサイズの削減の大部分を担っているのに対し、パラフレーズ強化トレーニングと推論時間アグリゲーションはリワード下での安定性を向上させることが示されている。 コードはhttps://github.com/Raina-Xin/PA_Scoreで入手できる。

関連論文リスト

• Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
  条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。 本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。 本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
  論文  参考訳（メタデータ） (2026-05-29T03:52:44Z)
• Uncertainty Quantification for Named Entity Recognition via Full-Sequence and Subsequence Conformal Prediction [0.0]
  シーケンスラベルに基づくNERモデルを適応して不確実性を考慮した予測セットを生成するための一般的なフレームワークを提案する。 予測セットは、ユーザが指定した信頼度レベルで正しいラベルを含むことが保証された完全文ラベルの集合である。
  論文  参考訳（メタデータ） (2026-01-13T18:00:08Z)
• Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
  条件付きカバレッジ推定が分類問題であることを示す。 得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。 ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
  論文  参考訳（メタデータ） (2025-12-12T18:47:39Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Rectifying Conformity Scores for Better Conditional Coverage [75.73184036344908]
  本稿では,分割共形予測フレームワーク内で信頼セットを生成する新しい手法を提案する。 本手法は,任意の適合度スコアのトレーニング可能な変換を行い,条件付き範囲を正確に確保しつつ,条件付き範囲を改善する。
  論文  参考訳（メタデータ） (2025-02-22T19:54:14Z)
• Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
  有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。 本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-17T12:01:56Z)
• Approximate Conditional Coverage via Neural Model Approximations [0.030458514384586396]
  実験的に信頼性の高い近似条件付きカバレッジを得るためのデータ駆動手法を解析する。 我々は、限界範囲のカバレッジ保証を持つ分割型代替案で、実質的な(そして、そうでない)アンダーカバーの可能性を実証する。
  論文  参考訳（メタデータ） (2022-05-28T02:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。