論文の概要: Online Conformal Selection with Accept-to-Reject Changes
- arxiv url: http://arxiv.org/abs/2508.13838v1
- Date: Tue, 19 Aug 2025 13:58:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-20 15:36:31.944819
- Title: Online Conformal Selection with Accept-to-Reject Changes
- Title(参考訳): アクセプション・トゥ・リジェクトによるオンラインコンフォーマル選択
- Authors: Kangdao Liu, Huajun Xi, Chi-Man Vong, Hongxin Wei,
- Abstract要約: アクセプション・トゥ・リジェクト・チェンジ(OCS-ARC)を用いたオンラインコンフォーマル・セレクションを提案する。
オンラインのBenjamini-Hochberg手順を候補選択プロセスに組み込む。
我々は,OCS-ARCが任意の段階において,名目レベル以下で偽発見率(FDR)を制御できることを理論的に保証する。
- 参考スコア(独自算出の注目度): 14.619101485265322
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Selecting a subset of promising candidates from a large pool is crucial across various scientific and real-world applications. Conformal selection offers a distribution-free and model-agnostic framework for candidate selection with uncertainty quantification. While effective in offline settings, its application to online scenarios, where data arrives sequentially, poses challenges. Notably, conformal selection permits the deselection of previously selected candidates, which is incompatible with applications requiring irreversible selection decisions. This limitation is particularly evident in resource-intensive sequential processes, such as drug discovery, where advancing a compound to subsequent stages renders reversal impractical. To address this issue, we extend conformal selection to an online Accept-to-Reject Changes (ARC) procedure: non-selected data points can be reconsidered for selection later, and once a candidate is selected, the decision is irreversible. Specifically, we propose a novel conformal selection method, Online Conformal Selection with Accept-to-Reject Changes (dubbed OCS-ARC), which incorporates online Benjamini-Hochberg procedure into the candidate selection process. We provide theoretical guarantees that OCS-ARC controls the false discovery rate (FDR) at or below the nominal level at any timestep under both i.i.d. and exchangeable data assumptions. Additionally, we theoretically show that our approach naturally extends to multivariate response settings. Extensive experiments on synthetic and real-world datasets demonstrate that OCS-ARC significantly improves selection power over the baseline while maintaining valid FDR control across all examined timesteps.
- Abstract(参考訳): 大きなプールから有望な候補のサブセットを選択することは、様々な科学的および現実世界の応用において不可欠である。
コンフォーマル選択は、不確実な定量化を伴う候補選択のための分布自由でモデルに依存しないフレームワークを提供する。
オフライン設定では有効だが、データが順次到着するオンラインシナリオへのアプリケーションには課題がある。
特に、共形選択は、既選択候補の非可逆選択決定を必要とするアプリケーションと互換性のない非可逆選択を許す。
この制限は、薬物発見のような資源集約的な連続的なプロセスにおいて特に顕著であり、化合物をその後の段階に進むと、逆の非現実的になる。
この問題に対処するために、コンフォメーション選択をオンラインのアクセプション・トゥ・リジェクト・チェンジ(ARC)手順に拡張する。
具体的には、オンラインBenjamini-Hochberg手順を候補選択プロセスに組み込んだ新しいコンフォメーション選択手法である、アクセプション・トゥ・リジェクト・チェンジを用いたオンラインコンフォメーション選択(OCS-ARC)を提案する。
我々は、OCS-ARCが名目レベルでの偽発見率(FDR)を、i.d.と交換可能なデータ仮定の両方の下で、任意の時点において制御することを理論的に保証する。
さらに,本手法が自然に多変量応答設定にまで拡張されることを理論的に示す。
合成および実世界のデータセットに対する大規模な実験により、OCS-ARCは基準線上の選択能力を大幅に向上し、検査されたすべての時間ステップにわたって有効なFDR制御を維持していることが示された。
関連論文リスト
- Online selective conformal inference: adaptive scores, convergence rate and optimality [4.7198252163006345]
そこで我々は,OnlineSCIと呼ばれる点予測アルゴリズムの拡張版を導入する。
OnlineSCIには、極端な結果の予測間隔の構築、禁忌の分類、オンラインテストなど、いくつかの顕著なオンライン選択タスクが含まれている。
適応型版である OnlineSCI が最適解に収束し, 上記の各応用事例において明示的な収束率が得られることを示す。
論文 参考訳(メタデータ) (2025-08-14T04:36:14Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳(メタデータ) (2025-06-25T07:04:49Z) - A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [68.43987626137512]
本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。
最適化に基づく最適化手法であるMERITを導入する。
MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
論文 参考訳(メタデータ) (2025-06-23T19:59:30Z) - Multivariate Conformal Selection [9.431551477608528]
本稿では,厳密な不確実性定量化を実現するために,コンフォーマルセレクション(CS)の一般化を提案する。
距離ベーススコアを用いたmCS-distと、微分可能な最適化により最適なスコアを学習するmCS-learnの2つの変種を提示する。
シミュレーションおよび実世界のデータセットの実験により、mCSはFalse Discovery Rate(FDR)制御を維持しながら選択能力を大幅に向上することが示された。
論文 参考訳(メタデータ) (2025-05-01T23:33:57Z) - Online Selective Conformal Prediction: Errors and Solutions [29.43493007296859]
我々は,既存のキャリブレーション選択戦略を評価し,関連するクレームの基本的な誤りをいくつか指摘する。
これらの戦略によるオンライン選択的共形推論は、選択条件のカバレッジとFCR制御の両方を保証することを実証する。
論文 参考訳(メタデータ) (2025-03-21T02:37:28Z) - SKADA-Bench: Benchmarking Unsupervised Domain Adaptation Methods with Realistic Validation On Diverse Modalities [55.87169702896249]
Unsupervised Domain Adaptation (DA) は、ラベル付きソースドメインでトレーニングされたモデルを適用して、ラベルなしのターゲットドメインでデータ分散シフトをうまく実行する。
本稿では,再重み付け,マッピング,部分空間アライメントなど,既存の浅層アルゴリズムの完全かつ公平な評価を行う。
本ベンチマークでは,現実的な検証の重要性を強調し,現実的なアプリケーションに対する実践的なガイダンスを提供する。
論文 参考訳(メタデータ) (2024-07-16T12:52:29Z) - CAP: A General Algorithm for Online Selective Conformal Prediction with FCR Control [4.137346786534721]
全体の誤発見レベルを測定するために,FCR (Real-time false coverage-statement rate) を制御することが重要である。
キャリブレーションセットを構築するために,過去のデータに対して適応的なピックルールを実行するCAPというフレームワークを開発した。
我々は,CAPが有限サンプルおよび分布自由な状態において,厳密な選択条件のカバレッジ保証を達成できることを証明した。
論文 参考訳(メタデータ) (2024-03-12T15:07:20Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳(メタデータ) (2023-09-07T17:44:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。