論文の概要: E-Valuating Classifier Two-Sample Tests
- arxiv url: http://arxiv.org/abs/2210.13027v1
- Date: Mon, 24 Oct 2022 08:18:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 15:23:00.127124
- Title: E-Valuating Classifier Two-Sample Tests
- Title(参考訳): E-Valuating Classifier Two-Sample Tests
- Authors: Teodora Pandeva and Tim Bakker and Christian A. Naesseth and Patrick
Forr\'e
- Abstract要約: E値に基づく高次元データのための2サンプルテストであるE-C2STを提案する。
E-C2STは、分割可能性比テストと予測独立性テストに関する既存の研究のアイデアを組み合わせている。
シミュレーションおよび実生活データに対するE-C2STの有用性を実証する。
- 参考スコア(独自算出の注目度): 3.036137566312035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose E-C2ST, a classifier two-sample test for high-dimensional data
based on E-values. Compared to $p$-values-based tests, tests with E-values have
finite sample guarantees for the type I error. E-C2ST combines ideas from
existing work on split likelihood ratio tests and predictive independence
testing. The resulting E-values incorporate information about the alternative
hypothesis. We demonstrate the utility of E-C2ST on simulated and real-life
data. In all experiments, we observe that when going from small to large sample
sizes, as expected, E-C2ST starts with lower power compared to other methods
but eventually converges towards one. Simultaneously, E-C2ST's type I error
stays substantially below the chosen significance level, which is not always
the case for the baseline methods. Finally, we use an MRI dataset to
demonstrate that multiplying E-values from multiple independently conducted
studies leads to a combined E-value that retains the finite sample type I error
guarantees while increasing the power.
- Abstract(参考訳): E値に基づく高次元データに対する分類器2サンプルテストであるE-C2STを提案する。
p$-valuesベースのテストと比較すると、E値を持つテストはI型エラーのサンプル保証が有限である。
E-C2STは、分割可能性比テストと予測独立性テストに関する既存の研究のアイデアを組み合わせている。
結果のE値には、代替仮説に関する情報が含まれている。
シミュレーションおよび実生活データに対するE-C2STの有用性を示す。
すべての実験において,E-C2STは他の手法に比べて低出力で開始するが,最終的には1方向に収束する。
同時に、e-c2stのtype iエラーは選択された重要度レベルを下回っており、必ずしもベースラインメソッドの場合ではない。
最後に、MRIデータセットを用いて、独立に実行される複数の研究からE値を乗算すると、有限サンプルI型エラー保証を保ちながらパワーを増大させるE値が結合されることを実証する。
関連論文リスト
- Detecting Adversarial Data by Probing Multiple Perturbations Using
Expected Perturbation Score [62.54911162109439]
逆方向検出は、自然分布と逆方向分布の差に基づいて、与えられたサンプルが逆方向であるかどうかを判定することを目的としている。
本研究では,様々な摂動後の標本の予測スコアであるEPS(pre expected perturbation score)を提案する。
EPSに基づく最大平均誤差(MMD)を,試験試料と自然試料との差を測定する指標として開発する。
論文 参考訳(メタデータ) (2023-05-25T13:14:58Z) - Bootstrapped Edge Count Tests for Nonparametric Two-Sample Inference
Under Heterogeneity [5.8010446129208155]
両試料間の差異を正確に検出する新しい非パラメトリック試験法を開発した。
オンラインゲームにおけるユーザ行動検出のための総合シミュレーション研究と応用により,提案試験の非漸近性能が向上したことを示す。
論文 参考訳(メタデータ) (2023-04-26T22:25:44Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳(メタデータ) (2022-08-10T03:05:46Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z) - CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。
CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。
我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
論文 参考訳(メタデータ) (2021-10-26T20:14:30Z) - Safe Tests and Always-Valid Confidence Intervals for contingency tables
and beyond [69.25055322530058]
2つのデータストリームが同じソースから来るかどうかをテストするためのE変数を開発します。
これらのE変数は、オプションの停止や継続のようなフレキシブルなサンプリングシナリオの下で、安全であり続けるテストにつながる。
論文 参考訳(メタデータ) (2021-06-04T20:12:13Z) - Testing for Outliers with Conformal p-values [14.158078752410182]
目標は、新しい独立したサンプルが参照データセットと同じ分布に属するかどうかをテストすることである。
そこで本論文では,p-値が有意であるが,異なるテストポイントに対して互いに依存する,広く適用可能なフレームワークである共形推論に基づく解を提案する。
我々は、これらのp値が正に依存し、正確な誤発見率制御を可能にすることを証明している。
論文 参考訳(メタデータ) (2021-04-16T17:59:21Z) - Two-Sample Testing on Ranked Preference Data and the Role of Modeling
Assumptions [57.77347280992548]
本稿では,ペアワイズ比較データとランキングデータのための2サンプル試験を設計する。
私たちのテストでは、基本的に分布に関する仮定は必要ありません。
実世界のペアワイズ比較データに2サンプルテストを適用することで、人によって提供される評価とランキングは、実際は異なる分散である、と結論付ける。
論文 参考訳(メタデータ) (2020-06-21T20:51:09Z) - Double Generative Adversarial Networks for Conditional Independence
Testing [8.359770027722275]
高次元条件独立テストは統計学と機械学習の重要な構成要素である。
本稿では,GAN(Double Generative Adversarial Network)に基づく推論手法を提案する。
論文 参考訳(メタデータ) (2020-06-03T16:14:15Z) - Safe Testing [0.9634859579172255]
e-value に基づいた仮説テスト理論を開発した。
e値に基づくテストは安全、すなわちType-Iエラーの保証を保持する。
論文 参考訳(メタデータ) (2019-06-18T20:39:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。