論文の概要: Near-Optimal Non-Parametric Sequential Tests and Confidence Sequences
with Possibly Dependent Observations
- arxiv url: http://arxiv.org/abs/2212.14411v1
- Date: Thu, 29 Dec 2022 18:37:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 17:33:30.986084
- Title: Near-Optimal Non-Parametric Sequential Tests and Confidence Sequences
with Possibly Dependent Observations
- Title(参考訳): ほぼ最適非パラメトリックシーケンステストと依存性のある観測による信頼度シーケンス
- Authors: Aurelien Bibaut, Nathan Kallus, Michael Lindon
- Abstract要約: 真仮説を否定する確率が$alpha$に近づくようなシーケンシャルテストを求める。
正規混合逐次確率比テスト(USPRT)を若干修正したユニバーサルシーケンシャル確率比テスト(USPRT)を提案する。
- 参考スコア(独自算出の注目度): 49.47001933796361
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential testing, always-valid $p$-values, and confidence sequences promise
flexible statistical inference and on-the-fly decision making. However, unlike
fixed-$n$ inference based on asymptotic normality, existing sequential tests
either make parametric assumptions and end up under-covering/over-rejecting
when these fail or use non-parametric but conservative concentration
inequalities and end up over-covering/under-rejecting. To circumvent these
issues, we sidestep exact at-least-$\alpha$ coverage and focus on
asymptotically exact coverage and asymptotic optimality. That is, we seek
sequential tests whose probability of ever rejecting a true hypothesis
asymptotically approaches $\alpha$ and whose expected time to reject a false
hypothesis approaches a lower bound on all tests with asymptotic coverage at
least $\alpha$, both under an appropriate asymptotic regime. We permit
observations to be both non-parametric and dependent and focus on testing
whether the observations form a martingale difference sequence. We propose the
universal sequential probability ratio test (uSPRT), a slight modification to
the normal-mixture sequential probability ratio test, where we add a burn-in
period and adjust thresholds accordingly. We show that even in this very
general setting, the uSPRT is asymptotically optimal under mild generic
conditions. We apply the results to stabilized estimating equations to test
means, treatment effects, etc. Our results also provide corresponding
guarantees for the implied confidence sequences. Numerical simulations verify
our guarantees and the benefits of the uSPRT over alternatives.
- Abstract(参考訳): シーケンシャルテスト、常に有効な$p$-values、信頼性シーケンスは柔軟な統計推論とオンザフライ意思決定を約束する。
しかし、漸近的正規性に基づく固定$n$の推論とは異なり、既存のシーケンシャルテストはパラメトリックな仮定をし、これらが失敗したとき、または非パラメトリックだが保守的な濃度の不等式を使用し、過剰にカバー/アンダー・リジェクションされる。
これらの問題を回避するために、我々は、正確な at-least-$\alpha$カバレッジをサイドステップし、漸近的に正確なカバレッジと漸近的最適性に焦点を当てる。
すなわち、真仮説を漸近的に否定する確率が$\alpha$に近づき、偽仮説を否定する期待時間が少なくとも$\alpha$の漸近的カバレッジを持つ全てのテストの低い境界に近づき、どちらも適切な漸近的体制の下でである。
我々は、観測が非パラメトリックかつ依存的であることを許し、観測がマーチンゲール差分列を形成するかどうかをテストすることに集中する。
そこで本研究では,正規混合逐次確率比テストの微修正であるUSPRT(Universal sequence probability ratio test)を提案し,バーンイン周期を加算し,それに応じて閾値を調整する。
この非常に一般的な設定でさえ、uSPRTは温和な一般的な条件下で漸近的に最適であることを示す。
実験方法, 治療効果等について, 安定推定方程式に適用した。
また,本研究では,暗黙の信頼系列に対する保証も提供する。
数値シミュレーションは、代替案に対する uSPRT の保証と利点を検証する。
関連論文リスト
- Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
生成モデルは出力に対する厳密な統計的保証を欠いている。
厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。
このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
論文 参考訳(メタデータ) (2024-10-02T15:26:52Z) - Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。
我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。
実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
論文 参考訳(メタデータ) (2024-04-04T11:32:03Z) - Precise Error Rates for Computationally Efficient Testing [75.63895690909241]
本稿では,計算複雑性に着目した単純な対数-単純仮説テストの問題を再考する。
線形スペクトル統計に基づく既存の試験は、I型とII型の誤差率の間の最良のトレードオフ曲線を達成する。
論文 参考訳(メタデータ) (2023-11-01T04:41:16Z) - Sequential Permutation Testing of Random Forest Variable Importance
Measures [68.8204255655161]
そこで本研究では、逐次置換テストと逐次p値推定を用いて、従来の置換テストに関連する高い計算コストを削減することを提案する。
シミュレーション研究の結果、シーケンシャルテストの理論的性質が当てはまることを確認した。
本手法の数値安定性を2つの応用研究で検討した。
論文 参考訳(メタデータ) (2022-06-02T20:16:50Z) - Nonparametric Conditional Local Independence Testing [69.31200003384122]
条件付き局所独立は、連続的な時間プロセス間の独立関係である。
条件付き地域独立の非パラメトリックテストは行われていない。
二重機械学習に基づく非パラメトリックテストを提案する。
論文 参考訳(メタデータ) (2022-03-25T10:31:02Z) - Comparing Sequential Forecasters [35.38264087676121]
2つの予測器を考えてみましょう。それぞれが時間とともに一連のイベントを予測します。
オンラインでもポストホックでも、予測と結果がどのように生成されたかの検証不可能な仮定を避けながら、これらの予測をどのように比較すればよいのか?
予測スコアの時間差を推定するための新しい逐次推論手法を提案する。
実世界の野球と天気予報機を比較することで,我々のアプローチを実証的に検証する。
論文 参考訳(メタデータ) (2021-09-30T22:54:46Z) - Time-uniform central limit theory and asymptotic confidence sequences [34.00292366598841]
信頼シーケンス(CS)は任意の停止時間に有効な推論を提供し、データに対する「覗き見」に対する罰則を生じさせない。
CSは漸近的ではなく、有限サンプルの保証を楽しむが、上記の信頼区間の広範な適用性はない。
CLTのような汎用性と(漸近的な)時間一様保証に対する漸近的CSは非漸近的妥当性を否定する。
論文 参考訳(メタデータ) (2021-03-11T05:45:35Z) - Asymptotic Validity and Finite-Sample Properties of Approximate Randomization Tests [2.28438857884398]
我々の理論的な重要な貢献は、ノイズレスデータを用いた近似ランダム化テストのサイズと元のランダム化テストのサイズとの差に非漸近的境界を持つことである。
線形回帰における有意性のテストを含むいくつかの例を通して、我々の理論を解説する。
論文 参考訳(メタデータ) (2019-08-12T16:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。