論文の概要: Robust Conformalized Selection with Noisy Responses
- arxiv url: http://arxiv.org/abs/2607.22985v1
- Date: Sat, 25 Jul 2026 01:51:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.956195
- Title: Robust Conformalized Selection with Noisy Responses
- Title(参考訳): 雑音応答を考慮したロバストコンフォーマル化選択
- Abstract要約: コンフォーマル化された選択は、大規模なデータセットから高品質な候補を選択するために広く適用されてきた。
我々は、上記のタスクを、真の予測ラベルを持つ候補を選択するか、特定の値を超える応答を持つものとして定式化する。
本稿では,汎用ラベル汚染下での有効なFDR制御による選択分類のための統合フレームワークであるRobust Conformalized Selection (RCS)を提案する。
- 参考スコア(独自算出の注目度): 23.306273801765297
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conformalized selection has been widely applied to select high-quality candidates from large datasets with rigorous uncertainty quantification, such as reliable labeling, drug discovery, and the alignment of large language models. Nevertheless, existing methods assume clean responses on calibration data, an assumption that rarely holds in practice. In this paper, we formulate the above tasks as selecting candidates with true predicted labels or with responses exceeding certain values. We demonstrate that existing conformal selection methods fail to control the false discovery rate (FDR) or suffer from severe power loss under contaminated calibration data. To that end, we propose Robust Conformalized Selection (RCS), a unified framework for selective classification with valid FDR control under general label contamination. The key insight of RCS lies in a novel statistical reduction: by separately conditioning on different classes, we translate the intractable label noise into a localized covariate shift problem, which then enables a covariate-adjusted empirical-Bayes-type estimate of the number of false selections. Statistical properties such as the asymptotic FDR control, power optimality, and robustness of RCS are established. We further develop an instantiation of RCS under randomized response model, and also apply RCS to the task of selecting candidates with large response values. Extensive experiments on both simulated and real-world datasets demonstrate the effectiveness of RCS.
- Abstract(参考訳): コンフォーマル化選択は、信頼性のあるラベル付け、薬物発見、大規模言語モデルのアライメントなど、厳密な不確実性定量化を伴う大規模データセットから高品質な候補を選択するために広く適用されてきた。
それにもかかわらず、既存の手法はキャリブレーションデータにクリーンな応答を仮定する。
本稿では,上記の課題を,真のラベルを持つ候補の選択や,特定の値を超える応答として定式化する。
既存の共形選択法は, 誤検出率(FDR)を制御できないか, あるいは汚染キャリブレーションデータによる深刻な電力損失に悩まされていることを実証する。
そこで我々は,汎用ラベル汚染下での有効なFDR制御による選択分類のための統一フレームワークであるRobust Conformalized Selection (RCS)を提案する。
異なるクラスを個別に条件付けすることで、抽出可能なラベルノイズを局所化された共変量シフト問題に変換し、共変量調整された経験的ベイズ型の偽選択数の推定を可能にする。
漸近的なFDR制御、電力最適性、RCSの堅牢性などの統計的性質が確立されている。
さらに、ランダム化応答モデルに基づくRCSのインスタンス化を開発し、また、大きな応答値を持つ候補を選択するタスクにRCSを適用する。
シミュレーションと実世界の両方のデータセットに関する大規模な実験は、RCSの有効性を実証している。
関連論文リスト
- Beyond Fixed False Discovery Rates: Post-Hoc Conformal Selection with E-Variables [31.204606769083068]
コンフォーマルセレクション(CS)は、キャリブレーションデータを使用して、未観測結果が所定の最小品質要件を満たす可能性のあるテスト入力を識別し、偽発見率(FDR)を制御している。
既存の方法は、データを見る前にターゲットFDRレベルを固定し、ユーザが選択したテスト入力数とFDR間のバランスを、利用可能なデータに基づいてダウンストリームのニーズと制約に適合させないようにする。
本稿では,データ駆動型偽発見率(FDP)の推定値と組み合わせて,候補選択集合の経路を生成するポストホックCS(PH-CS)を提案する。
論文 参考訳(メタデータ) (2026-04-13T11:02:44Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳(メタデータ) (2025-12-01T11:27:09Z) - SAFER: Risk-Constrained Sample-then-Filter in Large Language Models [38.97678256807034]
本稿では,無意識サンプリングと共形フィルタリングを組み合わせた2段階リスク制御フレームワークを提案する。
その結果,SAFERはタスク固有の基準やキャリブレーションテストのスプリット比と互換性があることが判明した。
論文 参考訳(メタデータ) (2025-10-11T12:12:41Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳(メタデータ) (2025-09-29T12:15:52Z) - Online Conformal Selection with Accept-to-Reject Changes [14.619101485265322]
アクセプション・トゥ・リジェクト・チェンジ(OCS-ARC)を用いたオンラインコンフォーマル・セレクションを提案する。
オンラインのBenjamini-Hochberg手順を候補選択プロセスに組み込む。
我々は,OCS-ARCが任意の段階において,名目レベル以下で偽発見率(FDR)を制御できることを理論的に保証する。
論文 参考訳(メタデータ) (2025-08-19T13:58:38Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳(メタデータ) (2025-06-25T07:04:49Z) - Multivariate Conformal Selection [9.431551477608528]
本稿では,厳密な不確実性定量化を実現するために,コンフォーマルセレクション(CS)の一般化を提案する。
距離ベーススコアを用いたmCS-distと、微分可能な最適化により最適なスコアを学習するmCS-learnの2つの変種を提示する。
シミュレーションおよび実世界のデータセットの実験により、mCSはFalse Discovery Rate(FDR)制御を維持しながら選択能力を大幅に向上することが示された。
論文 参考訳(メタデータ) (2025-05-01T23:33:57Z) - Noise-Adaptive Conformal Classification with Marginal Coverage [53.74125453366155]
本稿では,ランダムラベルノイズによる交換性からの偏差を効率的に処理できる適応型共形推論手法を提案する。
本手法は,合成および実データに対して,その有効性を示す広範囲な数値実験により検証する。
論文 参考訳(メタデータ) (2025-01-29T23:55:23Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。
Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。
さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
論文 参考訳(メタデータ) (2023-01-02T07:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。