論文の概要: Unveiling the Cycloid Trajectory of EM Iterations in Mixed Linear Regression
- arxiv url: http://arxiv.org/abs/2405.18237v2
- Date: Tue, 4 Jun 2024 00:56:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 08:53:00.435502
- Title: Unveiling the Cycloid Trajectory of EM Iterations in Mixed Linear Regression
- Title（参考訳）: 混合線形回帰におけるEM繰り返しのシロイド軌道の解離
- Authors: Zhankun Luo, Abolfazl Hashemi,
- Abstract要約: 2成分混合線形回帰(2MLR)における反復の軌跡と期待最大化(EM)アルゴリズムの収束率について検討する。
近年, ノイズレスおよび高SNR環境下での2MLRにおけるEMの超線形収束が確立されている。
- 参考スコア（独自算出の注目度）: 5.883916678819683
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the trajectory of iterations and the convergence rates of the Expectation-Maximization (EM) algorithm for two-component Mixed Linear Regression (2MLR). The fundamental goal of MLR is to learn the regression models from unlabeled observations. The EM algorithm finds extensive applications in solving the mixture of linear regressions. Recent results have established the super-linear convergence of EM for 2MLR in the noiseless and high SNR settings under some assumptions and its global convergence rate with random initialization has been affirmed. However, the exponent of convergence has not been theoretically estimated and the geometric properties of the trajectory of EM iterations are not well-understood. In this paper, first, using Bessel functions we provide explicit closed-form expressions for the EM updates under all SNR regimes. Then, in the noiseless setting, we completely characterize the behavior of EM iterations by deriving a recurrence relation at the population level and notably show that all the iterations lie on a certain cycloid. Based on this new trajectory-based analysis, we exhibit the theoretical estimate for the exponent of super-linear convergence and further improve the statistical error bound at the finite-sample level. Our analysis provides a new framework for studying the behavior of EM for Mixed Linear Regression.
- Abstract（参考訳）: 本稿では,2成分混合線形回帰 (2MLR) における反復の軌跡と期待最大化 (EM) アルゴリズムの収束率について検討する。
MLRの基本的な目標は、ラベルのない観測から回帰モデルを学ぶことである。
EMアルゴリズムは線形回帰の混合を解くために広く応用されている。
近年, 2MLR における EM の超線形収束は, 雑音のない, 高い SNR 設定においていくつかの仮定の下で確立され, ランダム初期化による大域収束速度が確認されている。
しかし、収束の指数は理論的には推定されておらず、EM反復の軌跡の幾何学的性質は十分に理解されていない。
本稿では,まずベッセル関数を用いて,すべてのSNR体制下でのEM更新に対して,明示的なクローズドフォーム表現を提供する。
そして、ノイズのない環境では、人口レベルでの反復関係を導出することにより、EM反復の挙動を完全に特徴づけ、特に全ての反復が特定のシクロ化物の上に置かれていることを示す。
この新たな軌道に基づく解析に基づいて、超線形収束の指数の理論的推定を行い、有限サンプルレベルでの統計的誤差をさらに改善する。
我々の分析は、混合線形回帰に対するEMの挙動を研究するための新しいフレームワークを提供する。
関連論文リスト
- Max-affine regression via first-order methods [7.12511675782289]
最大アフィンモデルは信号処理と統計学の応用においてユビキタスに現れる。
最大アフィン回帰に対する勾配降下(GD)とミニバッチ勾配降下(SGD)の非漸近収束解析を行った。
論文 参考訳（メタデータ） (2023-08-15T23:46:44Z) - Mixed Regression via Approximate Message Passing [16.91276351457051]
複数の信号と潜伏変数を持つ一般化線形モデル(GLM)における回帰問題について検討する。
混合線形回帰では、それぞれの観測は$L$信号ベクトル(回帰器)の1つから来るが、どれがどれであるかはわからない。
最大アフィン回帰では、各観測は最大で$L$アフィン関数から成り、それぞれ異なる信号ベクトルによって定義される。
論文 参考訳（メタデータ） (2023-04-05T04:59:59Z) - Sharp analysis of EM for learning mixtures of pairwise differences [14.01151780845689]
線形回帰とランダムサンプルの対称混合をペア比較設計から検討する。
我々は、列が線形収束することを証明し、反復数の推定誤差に対して$ell_infty$-normの保証を与える。
EMシーケンスの極限は$ell$-normにおける推定の急激な速度を達成し、情報理論の最適定数と一致することを示す。
論文 参考訳（メタデータ） (2023-02-20T16:13:19Z) - Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。
提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
論文 参考訳（メタデータ） (2022-10-23T23:23:23Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳（メタデータ） (2021-06-30T17:51:36Z) - A Wasserstein Minimax Framework for Mixed Linear Regression [69.40394595795544]
マルチモーダル分布は、学習タスクにおいてクラスタ化されたデータをモデル化するために一般的に使用される。
混合線形回帰問題に対する最適輸送ベースフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-14T16:03:51Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Estimation, Confidence Intervals, and Large-Scale Hypotheses Testing for
High-Dimensional Mixed Linear Regression [9.815103550891463]
本稿では,2つの線形回帰モデルのうちの1つから出力変数が得られた高次元混合線形回帰(MLR)について検討する。
本稿では, 2つの回帰ベクトルを推定し, その収束率を確立するための反復的手順を提案する。
回帰係数をテストするために大規模な多重検定手法を提案し, アルゴリズムによって偽発見率(FDR)を制御できることが示されている。
論文 参考訳（メタデータ） (2020-11-06T21:17:41Z) - Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。
提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
論文 参考訳（メタデータ） (2020-09-29T15:00:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。