論文の概要: Selection by Prediction with Conformal p-values

• arxiv url: http://arxiv.org/abs/2210.01408v3
• Date: Sat, 27 May 2023 01:24:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 03:21:54.977439
• Title: Selection by Prediction with Conformal p-values
• Title（参考訳）: 共形p値を用いた予測による選択
• Authors: Ying Jin, Emmanuel J. Cand\`es
• Abstract要約: 本研究では,未観測結果がユーザ指定値を超える候補を選択するためのスクリーニング手順について検討する。 本研究では,任意の予測モデルをラップして候補のサブセットを生成する手法を開発した。
• 参考スコア（独自算出の注目度）: 7.917044695538599
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision making or scientific discovery pipelines such as job hiring and drug discovery often involve multiple stages: before any resource-intensive step, there is often an initial screening that uses predictions from a machine learning model to shortlist a few candidates from a large pool. We study screening procedures that aim to select candidates whose unobserved outcomes exceed user-specified values. We develop a method that wraps around any prediction model to produce a subset of candidates while controlling the proportion of falsely selected units. Building upon the conformal inference framework, our method first constructs p-values that quantify the statistical evidence for large outcomes; it then determines the shortlist by comparing the p-values to a threshold introduced in the multiple testing literature. In many cases, the procedure selects candidates whose predictions are above a data-dependent threshold. Our theoretical guarantee holds under mild exchangeability conditions on the samples, generalizing existing results on multiple conformal p-values. We demonstrate the empirical performance of our method via simulations, and apply it to job hiring and drug discovery datasets.
• Abstract（参考訳）: リソース集約的なステップの前には、機械学習モデルからの予測を使用して、大きなプールから少数の候補を短くする初期スクリーニングが行われることが多い。 本研究では,未観測結果がユーザ指定値を超える候補を選択するためのスクリーニング手順について検討する。 任意の予測モデルを包み込み、候補のサブセットを生成しながら、誤選択されたユニットの割合を制御する手法を開発した。 共形推論の枠組みを基礎として, 提案手法はまず, 結果の統計的証拠を定量化するp-値を構築し, 続いて, p-値と複数の試験文献で導入されたしきい値を比較してショートリストを決定する。 多くの場合、この手順は、予測がデータ依存の閾値を超える候補を選択する。 我々の理論的保証はサンプルの交換性条件が緩やかであり、複数の共形p-値の既存の結果が一般化される。 本手法の実証的な性能をシミュレーションにより実証し,職種雇用と薬物発見データセットに適用する。

関連論文リスト

• Multivariate Conformal Prediction using Optimal Transport [19.644272536912286]
  コンフォーマル予測(CP)は、機械学習モデルの不確実性を定量化する。 多次元設定において共形予測集合を構成するための原理的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:56:41Z)
• Inferring from Logits: Exploring Best Practices for Decoding-Free Generative Candidate Selection [37.54564513506548]
  生成言語モデルは、トークンによる出力シーケンストークンを生成するために自動回帰デコードに依存する。 本稿では,包括的タスクセットに基づくデコード自由候補選択手法の包括的コレクションの評価について紹介する。
  論文  参考訳（メタデータ） (2025-01-28T23:21:28Z)
• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• Confidence on the Focal: Conformal Prediction with Selection-Conditional Coverage [6.010965256037659]
  コンフォーマル予測は、ランダムに描画された新しいテストポイントの未知の結果を所定の確率でカバーする、わずかに有効な予測間隔を構築する。 そのようなケースでは、選択バイアスによる焦点単位に対する正当性予測間隔は、選択バイアスによる有効なカバレッジを提供できない。 本稿では、選択した単位に対して、有限サンプルの正確なカバレッジ条件を持つ予測セットを構築するための一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-03-06T17:18:24Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Generalization within in silico screening [19.58677466616286]
  シリカスクリーニングでは、予測モデルを使用して、実験的な検証のためにライブラリから好ましい特性を持つ化合物のバッチを選択する。 学習理論を拡張することにより、選択政策の選択性は一般化に大きな影響を及ぼすことを示す。 モデルがバッチで望ましい結果のごく一部を予測できる能力を考えると,一般化が著しく向上できることが示される。
  論文  参考訳（メタデータ） (2023-07-18T16:01:01Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
  機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。 本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:28:43Z)
• Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
  我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。 複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
  論文  参考訳（メタデータ） (2020-10-21T13:43:48Z)
• Online Active Model Selection for Pre-trained Classifiers [72.84853880948894]
  我々は,任意のラウンドにおいて高い確率で最良のモデルをラベル付けし,出力する情報的サンプルを積極的に選択するオンライン選択的サンプリング手法を設計する。 我々のアルゴリズムは、敵とストリームの両方のオンライン予測タスクに利用できる。
  論文  参考訳（メタデータ） (2020-10-19T19:53:15Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。