論文の概要: Near-Optimal Non-Parametric Sequential Tests and Confidence Sequences
with Possibly Dependent Observations
- arxiv url: http://arxiv.org/abs/2212.14411v4
- Date: Fri, 8 Mar 2024 15:04:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 23:44:54.645303
- Title: Near-Optimal Non-Parametric Sequential Tests and Confidence Sequences
with Possibly Dependent Observations
- Title(参考訳): ほぼ最適非パラメトリックシーケンステストと依存性のある観測による信頼度シーケンス
- Authors: Aurelien Bibaut, Nathan Kallus, Michael Lindon
- Abstract要約: 正規混合逐次確率比テスト(USPRT)を若干修正したユニバーサルシーケンシャル確率比テスト(USPRT)を提案する。
この非常に一般的な設定においても、uSPRTは穏やかな汎用条件下で最適であることを示す。
- 参考スコア(独自算出の注目度): 44.71254888821376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential testing, always-valid $p$-values, and confidence sequences promise
flexible statistical inference and on-the-fly decision making. However, unlike
fixed-$n$ inference based on asymptotic normality, existing sequential tests
either make parametric assumptions and end up under-covering/over-rejecting
when these fail or use non-parametric but conservative concentration
inequalities and end up over-covering/under-rejecting. To circumvent these
issues, we sidestep exact at-least-$\alpha$ coverage and focus on asymptotic
calibration and asymptotic optimality. That is, we seek sequential tests whose
probability of \emph{ever} rejecting a true hypothesis approaches $\alpha$ and
whose expected time to reject a false hypothesis approaches a lower bound on
all such asymptotically calibrated tests, both "approaches" occurring under an
appropriate limit. We permit observations to be both non-parametric and
dependent and focus on testing whether the observations form a martingale
difference sequence. We propose the universal sequential probability ratio test
(uSPRT), a slight modification to the normal-mixture sequential probability
ratio test, where we add a burn-in period and adjust thresholds accordingly. We
show that even in this very general setting, the uSPRT is asymptotically
optimal under mild generic conditions. We apply the results to stabilized
estimating equations to test means, treatment effects, {\etc} Our results also
provide corresponding guarantees for the implied confidence sequences.
Numerical simulations verify our guarantees and the benefits of the uSPRT over
alternatives.
- Abstract(参考訳): シーケンシャルテスト、常に有効な$p$-values、信頼性シーケンスは柔軟な統計推論とオンザフライ意思決定を約束する。
しかし、漸近的正規性に基づく固定$n$の推論とは異なり、既存のシーケンシャルテストはパラメトリックな仮定をし、これらが失敗したとき、または非パラメトリックだが保守的な濃度の不等式を使用し、過剰にカバー/アンダー・リジェクションされる。
これらの問題を回避すべく、我々は、正確なat-least-$\alpha$カバレッジを回避し、漸近的キャリブレーションと漸近的最適性に焦点を当てる。
すなわち、真仮説を拒絶する確率が$\alpha$に近づくような逐次的なテストを求め、偽仮説を拒絶する予測時間が、適切な制限下で起こる「攻撃」の両方において、そのような漸近的に校正された全てのテストの下限に近づく。
我々は、観測が非パラメトリックかつ依存的であることを許し、観測がマーチンゲール差分列を形成するかどうかをテストすることに集中する。
そこで本研究では,正規混合逐次確率比テストの微修正であるUSPRT(Universal sequence probability ratio test)を提案し,バーンイン周期を加算し,それに応じて閾値を調整する。
この非常に一般的な設定でさえ、uSPRTは温和な一般的な条件下で漸近的に最適であることを示す。
実験手段, 治療効果, {\etc} に対する安定化推定式に適用し, 含意された信頼度列の保証も提供する。
数値シミュレーションは、代替案に対する uSPRT の保証と利点を検証する。
関連論文リスト
- Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
生成モデルは出力に対する厳密な統計的保証を欠いている。
厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。
このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
論文 参考訳(メタデータ) (2024-10-02T15:26:52Z) - Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。
我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。
実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
論文 参考訳(メタデータ) (2024-04-04T11:32:03Z) - Precise Error Rates for Computationally Efficient Testing [75.63895690909241]
本稿では,計算複雑性に着目した単純な対数-単純仮説テストの問題を再考する。
線形スペクトル統計に基づく既存の試験は、I型とII型の誤差率の間の最良のトレードオフ曲線を達成する。
論文 参考訳(メタデータ) (2023-11-01T04:41:16Z) - Sequential Permutation Testing of Random Forest Variable Importance
Measures [68.8204255655161]
そこで本研究では、逐次置換テストと逐次p値推定を用いて、従来の置換テストに関連する高い計算コストを削減することを提案する。
シミュレーション研究の結果、シーケンシャルテストの理論的性質が当てはまることを確認した。
本手法の数値安定性を2つの応用研究で検討した。
論文 参考訳(メタデータ) (2022-06-02T20:16:50Z) - Nonparametric Conditional Local Independence Testing [69.31200003384122]
条件付き局所独立は、連続的な時間プロセス間の独立関係である。
条件付き地域独立の非パラメトリックテストは行われていない。
二重機械学習に基づく非パラメトリックテストを提案する。
論文 参考訳(メタデータ) (2022-03-25T10:31:02Z) - Comparing Sequential Forecasters [35.38264087676121]
2つの予測器を考えてみましょう。それぞれが時間とともに一連のイベントを予測します。
オンラインでもポストホックでも、予測と結果がどのように生成されたかの検証不可能な仮定を避けながら、これらの予測をどのように比較すればよいのか?
予測スコアの時間差を推定するための新しい逐次推論手法を提案する。
実世界の野球と天気予報機を比較することで,我々のアプローチを実証的に検証する。
論文 参考訳(メタデータ) (2021-09-30T22:54:46Z) - Time-uniform central limit theory and asymptotic confidence sequences [34.00292366598841]
信頼シーケンス(CS)は任意の停止時間に有効な推論を提供し、データに対する「覗き見」に対する罰則を生じさせない。
CSは漸近的ではなく、有限サンプルの保証を楽しむが、上記の信頼区間の広範な適用性はない。
CLTのような汎用性と(漸近的な)時間一様保証に対する漸近的CSは非漸近的妥当性を否定する。
論文 参考訳(メタデータ) (2021-03-11T05:45:35Z) - Asymptotic Validity and Finite-Sample Properties of Approximate Randomization Tests [2.28438857884398]
我々の理論的な重要な貢献は、ノイズレスデータを用いた近似ランダム化テストのサイズと元のランダム化テストのサイズとの差に非漸近的境界を持つことである。
線形回帰における有意性のテストを含むいくつかの例を通して、我々の理論を解説する。
論文 参考訳(メタデータ) (2019-08-12T16:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。