論文の概要: Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models

• arxiv url: http://arxiv.org/abs/2604.13991v1
• Date: Wed, 15 Apr 2026 15:35:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.610158
• Title: Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models
• Title（参考訳）: 大規模言語モデルによる生成の現実性向上のための適応的等角予測
• Authors: Aleksandr Rubashevskii, Dzianis Piatrashyn, Preslav Nakov, Maxim Panov,
• Abstract要約: 大規模言語モデル(LLM)は、事実的に誤った出力を生成する傾向にある。 本研究では,LLMへのコンフォメーションスコア変換法を拡張する適応型コンフォメーション予測手法を提案する。 これにより、アクシデントに依存したキャリブレーションが可能となり、条件付きカバレッジを改善しながら、限界範囲のカバレッジ保証が維持される。
• 参考スコア（独自算出の注目度）: 86.8650252164764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are prone to generating factually incorrect outputs. Recent work has applied conformal prediction to provide uncertainty estimates and statistical guarantees for the factuality of LLM generations. However, existing approaches are typically not prompt-adaptive, limiting their ability to capture input-dependent variability. As a result, they may filter out too few items (leading to over-coverage) or too many (under-coverage) for a given task or prompt. We propose an adaptive conformal prediction approach that extends conformal score transformation methods to LLMs, with applications to long-form generation and multiple-choice question answering. This enables prompt-dependent calibration, retaining marginal coverage guarantees while improving conditional coverage. In addition, the approach naturally supports selective prediction, allowing unreliable claims or answer choices to be filtered out in downstream applications. We evaluate our approach on multiple white-box models across diverse domains and show that it significantly outperforms existing baselines in terms of conditional coverage.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事実的に誤った出力を生成する傾向にある。 最近の研究は、LLM世代における不確実性推定と統計的保証を提供するために、共形予測を適用している。 しかし、既存のアプローチは、通常、プロンプト適応的ではなく、入力依存の変数をキャプチャする能力を制限する。 結果として、与えられたタスクやプロンプトに対して、あまりに少ないアイテム(過剰なカバレッジにつながる)または多すぎるアイテム(アンダーカバレッジ)をフィルタリングすることができる。 本研究では,LLMへのコンフォメーションスコア変換法を拡張した適応型コンフォメーション予測手法を提案する。 これにより、アクシデントに依存したキャリブレーションが可能となり、条件付きカバレッジを改善しながら、限界範囲のカバレッジ保証が維持される。 さらに、このアプローチは選択的な予測を自然にサポートし、ダウンストリームアプリケーションで信頼性の低いクレームや回答の選択をフィルタリングできるようにする。 多様な領域にわたる複数のホワイトボックスモデルに対するアプローチを評価し、条件付きカバレッジの観点から既存のベースラインを著しく上回ることを示す。

関連論文リスト

• Domain-Shift-Aware Conformal Prediction for Large Language Models [8.620363085499243]
  ドメインシフト対応コンフォーマル予測(DS-CP)と呼ばれる新しいフレームワークを提案する。 我々のフレームワークは、キャリブレーションサンプルを体系的に再重み付けすることで、ドメインシフト中の大きな言語モデルに整合予測を適用する。 MMLUベンチマークの理論的解析と実験により,提案手法は標準共形予測よりも信頼性の高いカバレッジを提供することが示された。
  論文  参考訳（メタデータ） (2025-10-07T04:22:06Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Multi-model Ensemble Conformal Prediction in Dynamic Environments [14.188004615463742]
  本稿では,複数の候補モデルから予測セットを作成するために使用されるモデルを選択する適応型共形予測フレームワークを提案する。 提案アルゴリズムは, 有効なカバレッジを維持しつつ, 全区間にわたる強い適応的後悔を達成できることが証明された。
  論文  参考訳（メタデータ） (2024-11-06T05:57:28Z)
• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• Bayesian Optimization with Conformal Prediction Sets [44.565812181545645]
  コンフォーマル予測(Conformal prediction)は、不確実な定量化手法であり、不特定モデルに対してもカバレッジを保証する。 本稿では,モデルの妥当性が保証された検索空間の領域にクエリを誘導する共形ベイズ最適化を提案する。 多くの場合、クエリのカバレッジはサンプル効率を損なうことなく大幅に改善できる。
  論文  参考訳（メタデータ） (2022-10-22T17:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。