論文の概要: Conditional Factuality Controlled LLMs with Generalization Certificates via Conformal Sampling
- arxiv url: http://arxiv.org/abs/2603.27403v1
- Date: Sat, 28 Mar 2026 20:48:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:44.940094
- Title: Conditional Factuality Controlled LLMs with Generalization Certificates via Conformal Sampling
- Title(参考訳): コンフォーマルサンプリングによる一般化証明書付き条件ファクタリティ制御LDM
- Authors: Kai Ye, Qingtao Pan, Shuo Li,
- Abstract要約: 大規模言語モデル(LLM)のためのemphConditional Factuality Control (CFC)を提案する。
CFCは、潜在成功率のスコアに対する拡張量子レグレッションを通じて、連続的かつ特徴条件の受け入れしきい値を定義する。
我々はCFCが交換性の下で条件付きカバレッジを保証することを示し、その短命性を分析する。
PAC方式の変種であるCFC-PACを導出し、安定性のバウンダリに基づいて名目リスクレベルを縮小する。
- 参考スコア(独自算出の注目度): 7.974834731988445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) need reliable test-time control of hallucinations. Existing conformal methods for LLMs typically provide only \emph{marginal} guarantees and rely on a single global threshold, which can under-cover hard prompts, over-cover easy ones, and produce oversized prediction sets. We propose \emph{Conditional Factuality Control} (CFC), a post-hoc conformal framework that returns \emph{set-valued} outputs with \emph{conditional} coverage guarantees. CFC defines a continuous, feature-conditional acceptance threshold through augmented quantile regression on a latent ``success'' score, and deploys it through a fixed-point threshold rule at inference time. Theoretically, we show that CFC satisfies a conditional coverage guarantee under exchangeability and analyze its \emph{efficiency}, proving that, under mild assumptions on the score distributions, the conditional rule is strictly more sample-efficient than marginal conformal prediction at the same target coverage. We further derive a PAC-style variant, CFC-PAC, which shrinks the nominal risk level based on a stability bound, yielding a finite-sample certificate that the conditional miscoverage deviates from the target by at most $O(\sqrt{\log(1/δ)/N})$. Empirically, on synthetic data, real-world reasoning and QA benchmarks, and a Flickr8k VLM setting, CFC and CFC-PAC consistently attain near-target coverage across difficulty groups while using smaller prediction sets than CP and non-CP baselines.
- Abstract(参考訳): 大型言語モデル(LLM)は幻覚の信頼性の高いテストタイム制御を必要とする。
既存のLCMのコンフォメーション法は、通常は「emph{marginal}」保証のみを提供し、単一のグローバルしきい値に依存しており、ハードプロンプトを過度に発見し、簡単なものを過剰に発見し、過大な予測セットを生成することができる。
本稿では,emph{Conditional Factuality Control} (CFC)を提案する。
CFCは、潜伏した ``success'' スコアに量子レグレッションを付加することで、連続的で特徴条件の受け入れしきい値を定義し、推論時に定点しきい値ルールを通じてデプロイする。
理論的には、CFCは交換可能性下での条件付きカバレッジ保証を満たし、その「emph{efficiency}」を解析し、スコア分布の軽度な仮定の下では、条件付きルールが同じ対象範囲における限界共形予測よりも厳密にサンプリング効率が高いことを示す。
さらに、PAC型変種であるCFC-PACを導出し、安定性境界に基づいて名目リスクレベルを小さくし、条件誤差がターゲットから逸脱する有限サンプル証明書を少なくとも$O(\sqrt{\log(1/δ)/N})$で生成する。
実証的には、合成データ、実世界の推論とQAベンチマーク、Flickr8k VLM設定において、CFCとCFC-PACは、CPや非CPのベースラインよりも小さな予測セットを使用しながら、困難グループ全体にわたってほぼターゲットのカバレッジを達成する。
関連論文リスト
- Efficient Federated Conformal Prediction with Group-Conditional Guarantees [28.340633583577112]
Conformal Prediction (CP) は、分布のないカバレッジを保証する予測セットを構築するために広く使われているフレームワークである。
本稿では,グループ条件付き共形予測(GC-FCP)を提案する。
合成および実世界のデータセットの実験は、集中キャリブレーションベースラインと比較してGC-FCPの性能を評価する。
論文 参考訳(メタデータ) (2026-03-15T03:17:14Z) - LATA: Laplacian-Assisted Transductive Adaptation for Conformal Uncertainty in Medical VLMs [61.06744611795341]
医用視覚言語モデル(VLM)は医用画像の強力なゼロショット認識器である。
本研究では,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ(texttttextbfLATA,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ)を提案する。
texttttextbfLATAは交換性を損なうことなくゼロショット予測をシャープにする。
論文 参考訳(メタデータ) (2026-02-19T16:45:38Z) - Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
条件付きカバレッジ推定が分類問題であることを示す。
得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。
ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
論文 参考訳(メタデータ) (2025-12-12T18:47:39Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳(メタデータ) (2025-09-26T23:40:47Z) - TECP: Token-Entropy Conformal Prediction for LLMs [0.10742675209112619]
Token-Entropy Conformal Prediction (TECP) は、トークンレベルのエントロピーをロジットフリーで参照不要な不確実性尺度として活用する新しいフレームワークである。
本手法は,ブラックボックスLLM設定における信頼に値する生成のための原理的かつ効率的なソリューションを提供する。
論文 参考訳(メタデータ) (2025-08-30T11:31:04Z) - Conformal P-Value in Multiple-Choice Question Answering Tasks with Provable Risk Control [0.0]
本研究では,多目的質問応答(MCQA)における大規模言語モデル(LLM)の信頼性向上を目的とした,テスト強化型コンフォメーション予測(CP)フレームワークを提案する。
CPは予測セットに対して統計的に厳格な限界被覆保証を提供し、重要試験は確立された統計的厳密さを提供する。
本研究は,高度QAアプリケーションにおける信頼性の高いLCMデプロイメントの統計的枠組みを確立する。
論文 参考訳(メタデータ) (2025-08-07T16:46:47Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳(メタデータ) (2025-06-25T07:04:49Z) - Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。
我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
論文 参考訳(メタデータ) (2025-03-07T08:41:53Z) - Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。
本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-01-17T12:01:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。