論文の概要: Null-Calibrated Conformal Selection via Target-Membership Scores
- arxiv url: http://arxiv.org/abs/2606.22336v1
- Date: Sun, 21 Jun 2026 05:03:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 18:55:11.25509
- Title: Null-Calibrated Conformal Selection via Target-Membership Scores
- Title(参考訳): ターゲット・メンバーシップスコアを用いたNull-Calibrated Conformal Selection
- Authors: Seungjin Choi,
- Abstract要約: コンフォーマル選択は、未知の応答がターゲット領域に落下するテスト候補を偽発見率を制御しながら特定することを目的としている。
選択の自然なスコアは、代わりにターゲットメンバーシップの確率である、と我々は主張する。
会員スコアに基づくコンフォメーション選択について検討し、コンフォメーション・キャリブレーション・ルートの1つ、Null-Calibrated Conformal Selectionを分離する。
- 参考スコア(独自算出の注目度): 0.6599344783327052
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conformal selection aims to identify test candidates whose unknown responses fall in a target region while controlling the false discovery rate. Existing methods often inherit prediction-oriented nonconformity scores, such as residual or clipped residual scores, from conformal prediction. We argue that the natural score for selection is instead the target-membership probability. This score directly addresses the binary event being selected, and any monotone transform of it gives the Neyman--Pearson oracle ranking at a fixed null selection level. This distinction is irrelevant for mean-monotone targets, where conventional scores induce essentially the same ranking, but becomes important for interval-valued, variance-driven, multimodal, or multi-condition targets, where prediction-oriented scores can be misaligned with selection power. We study membership-score-based conformal selection and isolate one conformal calibration route, Null-Calibrated Conformal Selection (NCCS), which ranks test scores against confirmed non-target calibration examples. Under null exchangeability, NCCS yields finite-sample valid null p-values, which can be combined with BY under arbitrary dependence or with BH under standard positive-dependence conditions. Experiments support the score principle: membership scores match conventional scores on mean-monotone targets, substantially improve over mean-score selection on variance-driven targets, and, when calibrated by NCCS, trade power for finite-sample null validity in rare-target regimes where direct empirical-FDP thresholding can be anti-conservative.
- Abstract(参考訳): コンフォーマル選択は、未知の応答がターゲット領域に落下するテスト候補を偽発見率を制御しながら特定することを目的としている。
既存の手法は、コンフォメーション予測から残差やクリップされた残差スコアなどの予測指向の非整合スコアを継承することが多い。
選択の自然なスコアは、代わりにターゲットメンバーシップの確率である、と我々は主張する。
このスコアは、選択されるバイナリイベントに直接対応し、そのモノトーン変換は、固定されたnull選択レベルにおけるNeyman-Pearsonのオラクルランキングを与える。
この区別は、従来のスコアが本質的に同じランキングを導出する平均単調なターゲットとは無関係であるが、間隔値、分散駆動、マルチモーダル、マルチコンディションのターゲットでは重要になり、予測指向のスコアは選択力と間違える。
本研究では,会員スコアに基づくコンフォメーション選択について検討し,非ターゲットキャリブレーション例に対して試験スコアをランク付けする1つのコンフォメーションキャリブレーション経路であるNull-Calibrated Conformal Selection (NCCS)を分離した。
ヌル交換性の下では、NCCSは有限サンプルの有効なヌル p-値を得るが、これは任意の依存の下で BY と結合したり、標準の正の依存条件下で BH と結合することができる。
会員スコアは平均単調目標の従来のスコアと一致し、分散駆動目標の平均スコア選択よりも大幅に改善され、NCCSによって校正された場合、直接的経験的FDP閾値付けが反保守的となるレアターゲット体制における有限サンプル無効の取引パワーが向上する。
関連論文リスト
- Empirical Bayes Conformal Prediction for Vision and Language Models [20.40115871314124]
コンフォーマル予測(CP)は、現代のビジョンと言語モデルに対して、分布のないカバレッジを提供する。
標準CP は 1 つの実現法を使い、平均列キャリブレートの変種は点推定に滑らかな多重実現法を用いる。
実験的なベイズ共形予測フレームワークについて述べる。これは$r$-valuesを用いて、スコアの変動性を不確実な非整合性スコアに変換する。
論文 参考訳(メタデータ) (2026-05-22T03:17:14Z) - CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。
BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
論文 参考訳(メタデータ) (2026-05-19T10:59:19Z) - Fair Decisions from Calibrated Scores: Achieving Optimal Classification While Satisfying Sufficiency [2.0686600920324163]
予測確率(スコア)に基づくバイナリ分類は、教師付き機械学習の基本的なタスクである。
群校正スコアの有限集合を仮定して、十分条件下での最適二項分類の正確な解を提案する。
論文 参考訳(メタデータ) (2026-02-07T00:26:40Z) - Optimistic Feasible Search for Closed-Loop Fair Threshold Decision-Making [0.0]
バンディットフィードバックからの1次元しきい値ポリシーのオンライン学習について検討する。
我々は,報酬と制約残差に対する信頼境界を維持する単純なグリッドベース手法であるOptimistic Feasible Search (OFS)を提案する。
論文 参考訳(メタデータ) (2025-12-26T10:44:40Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳(メタデータ) (2025-09-29T12:15:52Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳(メタデータ) (2025-09-26T23:40:47Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳(メタデータ) (2025-06-25T07:04:49Z) - Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。
本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-01-17T12:01:56Z) - Confidence on the Focal: Conformal Prediction with Selection-Conditional Coverage [6.010965256037659]
コンフォーマル予測は、ランダムに描画されたテストポイントの未知の結果をカバーする、わずかに有効な予測間隔を構築する。
実際には、データ駆動手法は興味のある特定のテストユニットを特定するためにしばしば使用される。
本稿では,有限サンプルの正確なカバレッジを持つ予測セットを構築するための一般的な枠組みを提案する。
論文 参考訳(メタデータ) (2024-03-06T17:18:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。