論文の概要: Optimal estimation of high-dimensional location Gaussian mixtures
- arxiv url: http://arxiv.org/abs/2002.05818v2
- Date: Mon, 26 Jul 2021 00:49:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 05:06:28.705163
- Title: Optimal estimation of high-dimensional location Gaussian mixtures
- Title（参考訳）: 高次元位置ガウス混合系の最適推定
- Authors: Natalie Doss and Yihong Wu and Pengkun Yang and Harrison H. Zhou
- Abstract要約: ワッサーシュタイン距離における混合分布を推定する最小値の値は$Theta((d/n)1/4 + n-1/(4k-2))$である。
また,混合密度はヘリンジャー距離の最適パラメトリックレート$Theta(sqrtd/n)$で推定可能であることを示す。
- 参考スコア（独自算出の注目度）: 6.947889260024788
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the optimal rate of estimation in a finite Gaussian
location mixture model in high dimensions without separation conditions. We
assume that the number of components $k$ is bounded and that the centers lie in
a ball of bounded radius, while allowing the dimension $d$ to be as large as
the sample size $n$. Extending the one-dimensional result of Heinrich and Kahn
\cite{HK2015}, we show that the minimax rate of estimating the mixing
distribution in Wasserstein distance is $\Theta((d/n)^{1/4} + n^{-1/(4k-2)})$,
achieved by an estimator computable in time $O(nd^2+n^{5/4})$. Furthermore, we
show that the mixture density can be estimated at the optimal parametric rate
$\Theta(\sqrt{d/n})$ in Hellinger distance and provide a computationally
efficient algorithm to achieve this rate in the special case of $k=2$.
Both the theoretical and methodological development rely on a careful
application of the method of moments. Central to our results is the observation
that the information geometry of finite Gaussian mixtures is characterized by
the moment tensors of the mixing distribution, whose low-rank structure can be
exploited to obtain a sharp local entropy bound.
- Abstract（参考訳）: 分離条件のない高次元における有限ガウス位置混合モデルにおける最適推定率について検討する。
成分数 $k$ が有界であり、中心が有界半径の球内にあると仮定し、一方、次元 $d$ はサンプルサイズ $n$ と同じ大きさである。
Heinrich と Kahn \cite{HK2015} の 1 次元結果を拡張することで、ワッサーシュタイン距離における混合分布を推定する最小値の値は $\Theta((d/n)^{1/4} + n^{-1/(4k-2)})$ であり、時間$O(nd^2+n^{5/4})$ で計算可能な推定器によって得られる。
さらに, 混合密度はヘリンガー距離の最適パラメトリックレート$\theta(\sqrt{d/n})$で推定でき, 特別に$k=2$の場合には計算効率の良いアルゴリズムが得られることを示した。
理論的および方法論的発展は、モーメント法を注意深く適用することに依存している。
その結果, 有限ガウス混合系の情報幾何学は, 低ランク構造を利用して急激な局所エントロピー境界を得る混合分布のモーメントテンソルによって特徴づけられることがわかった。
関連論文リスト
- Improved Finite-Particle Convergence Rates for Stein Variational Gradient Descent [14.890609936348277]
我々は、Kernelized Stein Discrepancy (mathsfKSD$) と Wasserstein-2 メトリクスにおいて、スタイン変分勾配Descentアルゴリズムに対して有限粒子収束率を提供する。
我々の重要な洞察は、N$粒子位置の接合密度の間の相対エントロピーの時間微分が、期待される$mathsfKSD2$のN$倍とより小さな正の値に比例して支配的な負の部分に分裂するということである。
論文 参考訳（メタデータ） (2024-09-13T01:49:19Z) - Relative-Translation Invariant Wasserstein Distance [82.6068808353647]
距離の新しい族、相対翻訳不変ワッサーシュタイン距離(RW_p$)を導入する。
我々は、$RW_p 距離もまた、分布変換に不変な商集合 $mathcalP_p(mathbbRn)/sim$ 上で定義される実距離測度であることを示す。
論文 参考訳（メタデータ） (2024-09-04T03:41:44Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Optimal score estimation via empirical Bayes smoothing [13.685846094715364]
未知確率分布$rho*$のスコア関数を$n$独立分布および$d$次元における同一分布観測から推定する問題について検討する。
ガウスカーネルに基づく正規化スコア推定器は、一致するミニマックス下界によって最適に示され、この値が得られることを示す。
論文 参考訳（メタデータ） (2024-02-12T16:17:40Z) - Efficient Estimation of the Central Mean Subspace via Smoothed Gradient Outer Products [12.047053875716506]
マルチインデックスモデルに対する十分な次元削減の問題を考察する。
高速パラメトリック収束速度が$C_d cdot n-1/2$であることを示す。
論文 参考訳（メタデータ） (2023-12-24T12:28:07Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。
本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。
総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
論文 参考訳（メタデータ） (2021-02-09T02:44:24Z) - Fermionic partial tomography via classical shadows [0.0]
そこで本研究では,n$モードフェルミオン状態の密度行列(k$-RDM)を推定するためのトモグラフィープロトコルを提案する。
量子状態特性の集合をランダムに学習する手法である古典的影の枠組みをフェルミオン設定に拡張する。
論文 参考訳（メタデータ） (2020-10-30T06:28:26Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z) - Spectral density estimation with the Gaussian Integral Transform [91.3755431537592]
スペクトル密度作用素 $hatrho(omega)=delta(omega-hatH)$ は線形応答論において中心的な役割を果たす。
スペクトル密度を近似する近似量子アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2020-04-10T03:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。