論文の概要: Dimension-agnostic inference using cross U-statistics
- arxiv url: http://arxiv.org/abs/2011.05068v6
- Date: Fri, 24 Mar 2023 03:31:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 19:16:07.359599
- Title: Dimension-agnostic inference using cross U-statistics
- Title(参考訳): クロスU統計を用いた次元非依存推論
- Authors: Ilmun Kim, Aaditya Ramdas
- Abstract要約: 本稿では,サンプル分割と自己正規化とともに,既存のテスト統計の変分表現を用いた手法を提案する。
結果の統計学は、縮退したU統計を慎重に修正し、対角ブロックを落とし、対角ブロックを外したままにすると見なすことができる。
- 参考スコア(独自算出の注目度): 39.27033181001605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classical asymptotic theory for statistical inference usually involves
calibrating a statistic by fixing the dimension $d$ while letting the sample
size $n$ increase to infinity. Recently, much effort has been dedicated towards
understanding how these methods behave in high-dimensional settings, where $d$
and $n$ both increase to infinity together. This often leads to different
inference procedures, depending on the assumptions about the dimensionality,
leaving the practitioner in a bind: given a dataset with 100 samples in 20
dimensions, should they calibrate by assuming $n \gg d$, or $d/n \approx 0.2$?
This paper considers the goal of dimension-agnostic inference; developing
methods whose validity does not depend on any assumption on $d$ versus $n$. We
introduce an approach that uses variational representations of existing test
statistics along with sample splitting and self-normalization to produce a
refined test statistic with a Gaussian limiting distribution, regardless of how
$d$ scales with $n$. The resulting statistic can be viewed as a careful
modification of degenerate U-statistics, dropping diagonal blocks and retaining
off-diagonal blocks. We exemplify our technique for some classical problems
including one-sample mean and covariance testing, and show that our tests have
minimax rate-optimal power against appropriate local alternatives. In most
settings, our cross U-statistic matches the high-dimensional power of the
corresponding (degenerate) U-statistic up to a $\sqrt{2}$ factor.
- Abstract(参考訳): 統計的推論に対する古典的な漸近理論は、通常、次元$d$を固定し、サンプルサイズ$n$を無限大に増やすことで統計学を校正する。
最近、これらのメソッドが高次元設定でどのように振る舞うかを理解するために多くの努力が払われており、$d$と$n$は共に無限大へと増加する。
これはしばしば、次元に関する仮定によって異なる推論手順をもたらし、実践者はバインドに残される: 20次元に100のサンプルを持つデータセットが与えられたら、$n \gg d$、または$d/n \approx 0.2$を仮定してキャリブレーションすべきだろうか?
本論文は次元非依存推論の目的を考察し,$d$ と $n$ の仮定に依存しない手法の開発について述べる。
サンプル分割と自己正規化とともに既存のテスト統計の変動表現を用いて、$d$が$n$でスケールするかどうかに関わらず、ガウス極限分布を持つ洗練されたテスト統計値を生成するアプローチを導入する。
結果の統計学は、縮退したU統計を慎重に修正し、対角ブロックを落とし、対角ブロックを外したままにすると見なすことができる。
我々は,一サンプル平均値と共分散テストを含む古典的な問題に対して,本手法を例示し,本試験が局所的代替品に対して最小速度最適化力を有することを示す。
ほとんどの設定では、我々の交差U統計は対応する(退化)U統計の高次元のパワーと$\sqrt{2}$因子と一致する。
関連論文リスト
- TIC-TAC: A Framework To Learn And Evaluate Your Covariance [119.82937345718378]
State-of-the-art method predict the mean $f_theta(x)$ and covariance $textrmCov(f_theta(x))$ of the target distribution through the two neural network using the negative log-likelihood。
1)予測共分散は予測平均のランダム性を真に捉えているのか?
論文 参考訳(メタデータ) (2023-10-29T09:54:03Z) - A High-dimensional Convergence Theorem for U-statistics with
Applications to Kernel-based Testing [3.469038201881982]
次数2のU-統計量に対して収束定理を証明し、データ次元$d$はサンプルサイズ$n$でスケールすることができる。
我々はこの理論を、高次元性能の研究が困難である2つのカーネルベースの分散テスト MMD と KSD に適用した。
論文 参考訳(メタデータ) (2023-02-11T12:49:46Z) - The Projected Covariance Measure for assumption-lean variable
significance testing [4.2534846356464815]
単純だが一般的なアプローチは、線形モデルを指定し、次に$X$の回帰係数が 0 でないかどうかをテストすることである。
条件付き平均独立性のモデルフリーなnullをテストする問題、すなわち条件付き平均の$Y$$$X$と$Z$は$X$に依存しない。
本稿では,加法モデルやランダムフォレストなど,柔軟な非パラメトリックあるいは機械学習手法を活用可能な,シンプルで汎用的なフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-03T17:55:50Z) - Statistical Inference of Constrained Stochastic Optimization via
Sketched Sequential Quadratic Programming [59.36379287247961]
この問題を解決するために,完全オンライン逐次2次プログラミング(StoSQP)手法を開発した。
最近の数値二階法の設計により、StoSQPは任意のランダムなステップサイズを適応的に選択できる。
また,2次法の計算コストを大幅に削減するため,StoSQPはランダム化反復解法を用いて2次プログラムを不正確に解けるようにした。
論文 参考訳(メタデータ) (2022-05-27T00:34:03Z) - Limit Distribution Theory for the Smooth 1-Wasserstein Distance with
Applications [18.618590805279187]
スムーズな1-ワッサーシュタイン距離 (SWD) $W_1sigma$ は経験的近似における次元の呪いを軽減する手段として最近提案された。
この研究は、高次元の極限分布結果を含むSWDの詳細な統計的研究を行う。
論文 参考訳(メタデータ) (2021-07-28T17:02:24Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳(メタデータ) (2021-03-23T17:48:56Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳(メタデータ) (2020-12-31T18:24:41Z) - Adjusted chi-square test for degree-corrected block models [13.122543280692641]
次数補正ブロックモデル(DCSBM)の適合性テストを提案する。
単純な調整により、$d_i$ の調和平均が無限に成長する限り、統計は null の下で分布に収束する。
我々の分布結果は漸近的ではなく、明示的な定数を持ち、目標分布へのコルモゴロフ-スミルノフ距離の有限サンプル境界を与える。
論文 参考訳(メタデータ) (2020-12-30T05:20:59Z) - Optimal Testing of Discrete Distributions with High Probability [49.19942805582874]
高確率状態に着目して離散分布を試験する問題について検討する。
一定の要素でサンプル最適である近接性および独立性テストのための最初のアルゴリズムを提供する。
論文 参考訳(メタデータ) (2020-09-14T16:09:17Z) - Optimal rates for independence testing via $U$-statistic permutation
tests [7.090165638014331]
独立分布と同一分布のペアが$sigma$-finiteで分離可能な測度空間で値を取る独立性テストの問題について検討する。
最初に、独立性の有効なテストはなく、$f: D(f) geq rho2 $ という形の代替と一様に一致していることを示す。
論文 参考訳(メタデータ) (2020-01-15T19:04:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。