論文の概要: Testing for Outliers with Conformal p-values
- arxiv url: http://arxiv.org/abs/2104.08279v2
- Date: Mon, 19 Apr 2021 16:31:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-24 14:20:16.421106
- Title: Testing for Outliers with Conformal p-values
- Title（参考訳）: 共形p値を持つ外れ値の検定
- Authors: Stephen Bates, Emmanuel Cand\`es, Lihua Lei, Yaniv Romano, Matteo
Sesia
- Abstract要約: 目標は、新しい独立したサンプルが参照データセットと同じ分布に属するかどうかをテストすることである。
そこで本論文では,p-値が有意であるが,異なるテストポイントに対して互いに依存する,広く適用可能なフレームワークである共形推論に基づく解を提案する。
我々は、これらのp値が正に依存し、正確な誤発見率制御を可能にすることを証明している。
- 参考スコア（独自算出の注目度）: 14.158078752410182
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper studies the construction of p-values for nonparametric outlier
detection, taking a multiple-testing perspective. The goal is to test whether
new independent samples belong to the same distribution as a reference data set
or are outliers. We propose a solution based on conformal inference, a broadly
applicable framework which yields p-values that are marginally valid but
mutually dependent for different test points. We prove these p-values are
positively dependent and enable exact false discovery rate control, although in
a relatively weak marginal sense. We then introduce a new method to compute
p-values that are both valid conditionally on the training data and independent
of each other for different test points; this paves the way to stronger type-I
error guarantees. Our results depart from classical conformal inference as we
leverage concentration inequalities rather than combinatorial arguments to
establish our finite-sample guarantees. Furthermore, our techniques also yield
a uniform confidence bound for the false positive rate of any outlier detection
algorithm, as a function of the threshold applied to its raw statistics.
Finally, the relevance of our results is demonstrated by numerical experiments
on real and simulated data.
- Abstract（参考訳）: 本稿では,非パラメトリック外乱検出のためのp値の構成について検討する。
目標は、新しい独立したサンプルが参照データセットと同じ分布に属しているかどうかをテストすることである。
そこで本論文では,p-値が有意であるが,異なるテストポイントに対して互いに依存する,広く適用可能なフレームワークである共形推論に基づく解を提案する。
これらのp値が正に依存していることが証明され、比較的弱い限界意味でも正確な発見率制御が可能となる。
次に、異なるテストポイントに対して、トレーニングデータ上で条件付きかつ互いに独立に有効なp値を計算する新しい方法を導入する。
我々の結果は、有限サンプル保証を確立するために組合せ論よりも集中不等式を利用するため、古典的な共形推論から逸脱する。
さらに,本手法は,任意の外乱検出アルゴリズムの偽陽性率に対して,その生統計に適用されるしきい値の関数として均一な信頼度を与える。
最後に,実データおよびシミュレーションデータの数値実験により,結果の妥当性を実証した。
関連論文リスト
- Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。
我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。
実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
論文 参考訳（メタデータ） (2024-04-04T11:32:03Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - Precise Error Rates for Computationally Efficient Testing [75.63895690909241]
本稿では,計算複雑性に着目した単純な対数-単純仮説テストの問題を再考する。
線形スペクトル統計に基づく既存の試験は、I型とII型の誤差率の間の最良のトレードオフ曲線を達成する。
論文 参考訳（メタデータ） (2023-11-01T04:41:16Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - Adaptive Conformal Prediction by Reweighting Nonconformity Score [0.0]
我々は、QRF(Quantile Regression Forest)を用いて、不整合スコアの分布を学習し、QRFの重みを利用して、テストポイントに類似した残差を持つサンプルにより重要度を割り当てる。
提案手法は,仮定のない有限標本境界範囲と訓練条件範囲を満足し,適切な仮定の下で条件付き範囲を確保できる。
論文 参考訳（メタデータ） (2023-03-22T16:42:19Z) - Derandomized Novelty Detection with FDR Control via Conformal E-values [20.864605211132663]
p-値の代わりに適切な共形e-値を活用することにより、共形推論をより安定にすることを提案する。
提案手法は, 標準共形推論と比較して, 電力損失が少なく, ランダム性を低減できることを示す。
論文 参考訳（メタデータ） (2023-02-14T19:21:44Z) - Integrative conformal p-values for powerful out-of-distribution testing
with labeled outliers [1.6371837018687636]
本稿では,参照集合と同じ分布から新しい観測結果がサンプリングされたかどうかを検証するための新しいコンフォメーション手法を開発した。
提案手法は, 既知分布データからの依存側情報に基づいて, 標準のp値を再重み付けすることができる。
このソリューションは、サンプル分割または新しいトランスダクティブクロスバリデーション+スキームによって実装することができる。
論文 参考訳（メタデータ） (2022-08-23T17:52:20Z) - Robust Flow-based Conformal Inference (FCI) with Statistical Guarantee [4.821312633849745]
本研究では,予測集合の構築や,複雑なデータや高次元データに対するアウトレイラの推測など,一連の共形推論手法を開発する。
ベンチマークデータセットを用いて,ロバストなフローベース共形推論手法の評価を行った。
論文 参考訳（メタデータ） (2022-05-22T04:17:30Z) - Nonparametric Conditional Local Independence Testing [69.31200003384122]
条件付き局所独立は、連続的な時間プロセス間の独立関係である。
条件付き地域独立の非パラメトリックテストは行われていない。
二重機械学習に基づく非パラメトリックテストを提案する。
論文 参考訳（メタデータ） (2022-03-25T10:31:02Z) - AdaPT-GMM: Powerful and robust covariate-assisted multiple testing [0.7614628596146599]
偽発見率(FDR)制御を用いた複数検定の実証的ベイズ法を提案する。
本手法は,アダプティブp値しきい値法(AdaPT)をマスク方式の一般化により洗練する。
我々は、AdaPT-GMMと呼ばれる新しい手法が一貫して高出力を実現することを、広範囲にわたるシミュレーションと実データ例で示す。
論文 参考訳（メタデータ） (2021-06-30T05:06:18Z) - Cross-validation Confidence Intervals for Test Error [83.67415139421448]
この研究は、クロスバリデーションのための中心極限定理と、学習アルゴリズムの弱い安定性条件下での分散の一貫した推定器を開発する。
結果は、一般的な1対1のクロスバリデーションの選択にとって、初めてのものだ。
論文 参考訳（メタデータ） (2020-07-24T17:40:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。