論文の概要: Robust High Dimensional Expectation Maximization Algorithm via Trimmed
Hard Thresholding
- arxiv url: http://arxiv.org/abs/2010.09576v1
- Date: Mon, 19 Oct 2020 15:00:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 21:05:56.120759
- Title: Robust High Dimensional Expectation Maximization Algorithm via Trimmed
Hard Thresholding
- Title(参考訳): Trimmed Hard Thresholdingによるロバスト高次元予測最大化アルゴリズム
- Authors: Di Wang and Xiangyu Guo and Shi Li and Jinhui Xu
- Abstract要約: 本研究では,高次元空間における任意の劣化サンプルを用いた潜在変数モデルの推定問題について検討する。
本稿では,トリミング勾配ステップを付加したトリミング予測最大化法を提案する。
アルゴリズムは汚損防止であり、幾何学的に(ほぼ)最適統計率に収束することを示す。
- 参考スコア(独自算出の注目度): 24.184520829631587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study the problem of estimating latent variable models with
arbitrarily corrupted samples in high dimensional space ({\em i.e.,} $d\gg n$)
where the underlying parameter is assumed to be sparse. Specifically, we
propose a method called Trimmed (Gradient) Expectation Maximization which adds
a trimming gradients step and a hard thresholding step to the Expectation step
(E-step) and the Maximization step (M-step), respectively. We show that under
some mild assumptions and with an appropriate initialization, the algorithm is
corruption-proofing and converges to the (near) optimal statistical rate
geometrically when the fraction of the corrupted samples $\epsilon$ is bounded
by $ \tilde{O}(\frac{1}{\sqrt{n}})$. Moreover, we apply our general framework
to three canonical models: mixture of Gaussians, mixture of regressions and
linear regression with missing covariates. Our theory is supported by thorough
numerical results.
- Abstract(参考訳): 本稿では,パラメータがスパースと仮定される高次元空間 ({\em i,e,} $d\gg n$) において,任意に破損したサンプルを用いて潜在変数モデルを推定する問題について検討する。
具体的には、期待ステップ(Eステップ)と最大ステップ(Mステップ)にそれぞれトリミング勾配ステップとハードしきい値ステップを追加するトリミング(グラディエント)期待最大化法を提案する。
いくつかの穏やかな仮定と適切な初期化の下では、アルゴリズムは腐敗を防ぎ、破損したサンプルの分数$\epsilon$ が$ \tilde{o}(\frac{1}{\sqrt{n}})$ で有界であるときに幾何学的に(近い)最適統計量に収束する。
さらに、ガウスの混合、回帰の混合、および欠落した共変量との線形回帰の3つの標準モデルに適用する。
我々の理論は徹底した数値結果によって支持されている。
関連論文リスト
- Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.9558392439655016]
動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。
提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。
実験により, 有効試料当たりの勾配評価の数は, 不正確な勾配を用いた場合においても, 寸法に依存しないことが示唆された。
論文 参考訳(メタデータ) (2023-11-08T21:19:52Z) - Robust Stochastic Optimization via Gradient Quantile Clipping [1.90365714903665]
グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。
通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。
本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
論文 参考訳(メタデータ) (2023-09-29T15:24:48Z) - Restricted Strong Convexity of Deep Learning Models with Smooth
Activations [31.003601717265006]
本研究では,スムーズなアクティベーション機能を持つディープラーニングモデルの最適化問題について検討する。
Restricted Strong Convexity (RSC) に基づく最適化の新しい解析手法を提案する。
深層学習モデルのためのRCCに基づくGDの幾何収束性を確立するための最初の結果である。
論文 参考訳(メタデータ) (2022-09-29T21:24:26Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳(メタデータ) (2022-06-17T06:10:20Z) - Optimal and instance-dependent guarantees for Markovian linear
stochastic approximation [77.84027086542827]
標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。
マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
論文 参考訳(メタデータ) (2021-12-23T18:47:50Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳(メタデータ) (2021-09-08T18:00:05Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Max-Linear Regression by Convex Programming [5.366354612549172]
我々は、最大線形回帰問題の推定器として、アンカーレグレッション(AR)によって与えられるスケーラブルな凸プログラムを定式化し、解析する。
以上の結果から, 対数係数まで, 正確な回復スケールについて, 十分な数のノイズのない観測結果が得られた。
論文 参考訳(メタデータ) (2021-03-12T00:55:54Z) - Last iterate convergence of SGD for Least-Squares in the Interpolation
regime [19.05750582096579]
基本最小二乗構成におけるノイズレスモデルについて検討する。
最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
論文 参考訳(メタデータ) (2021-02-05T14:02:20Z) - ROOT-SGD: Sharp Nonasymptotics and Asymptotic Efficiency in a Single
Algorithm [77.71051081132912]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
emphRecursive One-Over-T Root (ROOTSGD) と呼ばれる小説を考案する。
有限サンプル勾配, 漸近感覚, 感覚を同時に達成することを証明する。
論文 参考訳(メタデータ) (2020-08-28T14:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。