論文の概要: A powerful rank-based correction to multiple testing under positive dependency

• arxiv url: http://arxiv.org/abs/2311.10900v2
• Date: Thu, 25 Jan 2024 15:43:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 17:37:57.248517
• Title: A powerful rank-based correction to multiple testing under positive dependency
• Title（参考訳）: 正の依存下での複数検定に対する強力なランクベース補正
• Authors: Alexander Timans, Christoph-Nikolas Straehle, Kaspar Sakmann, Eric Nalisnick
• Abstract要約: ファミリーワイドエラー率(FWER)を制御した新しい多重仮説検定補正法を開発した。 提案アルゴリズムである$textttmax-rank$は、計算されたテスト統計のランク領域における$max$-operatorの使用に依存して、概念的に直進的である。
• 参考スコア（独自算出の注目度）: 48.098218835606055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a novel multiple hypothesis testing correction with family-wise error rate (FWER) control that efficiently exploits positive dependencies between potentially correlated statistical hypothesis tests. Our proposed algorithm $\texttt{max-rank}$ is conceptually straight-forward, relying on the use of a $\max$-operator in the rank domain of computed test statistics. We compare our approach to the frequently employed Bonferroni correction, theoretically and empirically demonstrating its superiority over Bonferroni in the case of existing positive dependency, and its equivalence otherwise. Our advantage over Bonferroni increases as the number of tests rises, and we maintain high statistical power whilst ensuring FWER control. We specifically frame our algorithm in the context of parallel permutation testing, a scenario that arises in our primary application of conformal prediction, a recently popularized approach for quantifying uncertainty in complex predictive settings.
• Abstract（参考訳）: 本研究では, 統計的に相関する確率的仮説テスト間の正の依存関係を効率的に活用するFWER制御を用いた新しい多重仮説検定法を開発した。 提案アルゴリズムである$\texttt{max-rank}$ は,計算されたテスト統計のランク領域における$\max$-operator の使用に依拠して,概念上はストレートフォワードである。 ボニフェロニ補正に対する我々のアプローチと比較し、既存の正の依存の場合のボニフェロニの優位性とその同値性について理論的および実証的に証明する。 ボンフェロニに対する我々の優位性は、テストの数が増えるにつれて増大し、FWER制御を確保しながら高い統計力を維持する。 複雑な予測環境における不確かさを定量化する手法として,共形予測を主応用するシナリオとして,並列置換テストの文脈でアルゴリズムを具体的に構成する。

関連論文リスト

• FactTest: Factuality Testing in Large Language Models with Finite-Sample and Distribution-Free Guarantees [41.78390564658645]
  幻覚や非現実的コンテンツを生成するための大規模言語モデル(LLM)は、高い領域での信頼性を損なう。 FactTest は LLM が与えられた質問に対する正しい回答を確実に提供できるかどうかを統計的に評価する新しいフレームワークである。 本研究では,FactTestが幻覚を効果的に検出し,未知の疑問に答えることを禁じるモデルの能力を向上させることにより,40%以上の精度向上を実現していることを示す。
  論文  参考訳（メタデータ） (2024-11-04T20:53:04Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation of Prediction Rationale [53.152460508207184]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。 本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。 最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
  論文  参考訳（メタデータ） (2024-02-02T05:53:22Z)
• Precise Error Rates for Computationally Efficient Testing [75.63895690909241]
  本稿では,計算複雑性に着目した単純な対数-単純仮説テストの問題を再考する。 線形スペクトル統計に基づく既存の試験は、I型とII型の誤差率の間の最良のトレードオフ曲線を達成する。
  論文  参考訳（メタデータ） (2023-11-01T04:41:16Z)
• A Semi-Bayesian Nonparametric Estimator of the Maximum Mean Discrepancy Measure: Applications in Goodness-of-Fit Testing and Generative Adversarial Networks [3.623570119514559]
  そこで我々は,GoF(Goness-of-fit)テストのための半ベイズ非パラメトリック(セミBNP)手順を提案する。 提案手法は,最大平均誤差(MMD)測定のための新しいベイズ推定器を提案する。 提案手法は, 誤り仮説の誤認率と受理率を低くすることで, 頻繁なMDD法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-05T10:36:21Z)
• Sequential Permutation Testing of Random Forest Variable Importance Measures [68.8204255655161]
  そこで本研究では、逐次置換テストと逐次p値推定を用いて、従来の置換テストに関連する高い計算コストを削減することを提案する。 シミュレーション研究の結果、シーケンシャルテストの理論的性質が当てはまることを確認した。 本手法の数値安定性を2つの応用研究で検討した。
  論文  参考訳（メタデータ） (2022-06-02T20:16:50Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Addressing Maximization Bias in Reinforcement Learning with Two-Sample Testing [0.0]
  過大評価バイアスは、価値に基づく強化学習アルゴリズムに対する既知の脅威である。 平均的な2サンプルテストに基づいて,過大評価と過小評価を柔軟に補間する$T$-Estimator (TE)を提案する。 また、TEと同じバイアスと分散境界に従うK$-Estimator (KE) という一般化も導入する。
  論文  参考訳（メタデータ） (2022-01-20T09:22:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。