論文の概要: SAFER: Risk-Constrained Sample-then-Filter in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.10193v1
• Date: Sat, 11 Oct 2025 12:12:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.835141
• Title: SAFER: Risk-Constrained Sample-then-Filter in Large Language Models
• Title（参考訳）: SAFER:大規模言語モデルにおけるリスク制約付きサンプル-then-Filter
• Authors: Qingni Wang, Yue Fan, Xin Eric Wang,
• Abstract要約: 本稿では,無意識サンプリングと共形フィルタリングを組み合わせた2段階リスク制御フレームワークを提案する。 その結果,SAFERはタスク固有の基準やキャリブレーションテストのスプリット比と互換性があることが判明した。
• 参考スコア（独自算出の注目度）: 38.97678256807034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) are increasingly deployed in risk-sensitive applications such as real-world open-ended question answering (QA), ensuring the trustworthiness of their outputs has become critical. Existing selective conformal prediction (SCP) methods provide statistical guarantees by constructing prediction sets with a constrained miscoverage rate for correct answers. However, prior works unrealistically assume that admissible answers for all instances can be obtained via finite sampling, even for open-ended QA scenarios that lack a fixed and finite solution space. To address this, we introduce a two-stage risk control framework comprising abstention-aware sampling and conformalized filtering (SAFER). Firstly, on a held-out calibration set, SAFER calibrates a sampling budget within the maximum sampling cap, using the Clopper-Pearson exact method at a user-desired risk level (i.e., the maximum allowable miscoverage rate of the sampling sets). If the risk level cannot be satisfied within the cap, we abstain; otherwise, the calibrated sampling budget becomes the minimum requirements at test time. Then, we employ calibration instances where correct answers are attainable under the calibrated budget and apply the conformal risk control method to determine a statistically valid uncertainty threshold, which filters unreliable distractors from the candidate set for each test data point. In this stage, SAFER introduces an additional risk level to guide the calculation of the threshold, thereby controlling the risk of correct answers being excluded. Furthermore, we show that SAFER is compatible with various task-specific admission criteria and calibration-test split ratios, highlighting its robustness and high data efficiency.
• Abstract（参考訳）: 大規模言語モデル (LLM) が現実世界のオープンエンド質問応答 (QA) のようなリスクに敏感なアプリケーションにますます導入されるにつれて、アウトプットの信頼性が重要になっている。 既存の選択的共形予測法(SCP)は、正しい解に対する制約付き誤発見率で予測セットを構築することで統計的保証を提供する。 しかし、先行研究は、固定かつ有限の解空間を持たないオープンエンドQAシナリオであっても、すべてのインスタンスに対する許容可能な答えは有限サンプリングによって得られると非現実的に仮定している。 そこで我々は,無意識サンプリングと共形フィルタリング(SAFER)を含む2段階のリスク制御フレームワークを提案する。 第一に、保持されたキャリブレーションセットにおいて、SAFERは、最大サンプリングキャップ内にサンプリング予算を校正し、ユーザの希望するリスクレベル(すなわち、サンプリングセットの最大許容誤発見率)において、Cropper-Pearson正確なメソッドを使用する。 リスクレベルが上限内で満たされない場合、我々は停止する。そうでなければ、キャリブレーションされたサンプリング予算は、テスト時に最小限の要件となる。 次に、正解を校正した予算で達成可能な校正事例を採用し、適合リスク制御法を適用して統計的に妥当な不確実性しきい値を決定し、各試験データポイントの候補セットから信頼できないトラクタをフィルタリングする。 この段階でSAFERは、しきい値の計算を導くために追加のリスクレベルを導入し、正解が除外されるリスクを制御する。 さらに,SAFERはタスク固有の基準やキャリブレーションテストのスプリット比と互換性があり,その堅牢性と高いデータ効率を強調している。

関連論文リスト

• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Calibrated Prediction Set in Fault Detection with Risk Guarantees via Significance Tests [3.500936878570599]
  本稿では,形式的リスク保証を提供するために,コンフォメーション予測フレームワークと重要度テストを統合した新しい故障検出手法を提案する。 提案手法は,名目レベル以上の経験的カバレッジ率(1-alpha$)を一貫して達成する。 その結果、ユーザ定義のリスクレベル(alpha$)と効率の間のコントロール可能なトレードオフが明らかとなり、より高いリスク耐性が平均予測セットのサイズを小さくする。
  論文  参考訳（メタデータ） (2025-08-02T05:49:02Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Data-Driven Calibration of Prediction Sets in Large Vision-Language Models Based on Inductive Conformal Prediction [0.0]
  動的しきい値キャリブレーションとクロスモーダル整合性検証を統合したモデル非依存不確実性定量化法を提案する。 このフレームワークは、様々なキャリブレーションとテストの分割比で安定したパフォーマンスを実現し、医療、自律システム、その他の安全に敏感な領域における現実的な展開の堅牢性を強調している。 この研究は、マルチモーダルAIシステムにおける理論的信頼性と実用性の間のギャップを埋め、幻覚検出と不確実性を考慮した意思決定のためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-24T15:39:46Z)
• SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
  SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。 我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
  論文  参考訳（メタデータ） (2025-04-19T03:01:45Z)
• ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
  自己整合性理論に基づく新しい不確実性尺度を導入する。 次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。 実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-29T17:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。