論文の概要: Structural Properties, Cycloid Trajectories and Non-Asymptotic Guarantees of EM Algorithm for Mixed Linear Regression

• arxiv url: http://arxiv.org/abs/2511.04937v1
• Date: Fri, 07 Nov 2025 02:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.65469
• Title: Structural Properties, Cycloid Trajectories and Non-Asymptotic Guarantees of EM Algorithm for Mixed Linear Regression
• Title（参考訳）: 混合線形回帰のためのEMアルゴリズムの構造特性, サイクル軌道および非漸近保証
• Authors: Zhankun Luo, Abolfazl Hashemi,
• Abstract要約: 本研究では,2成分混合線形回帰(2MLR)に対する期待最大化アルゴリズムの構造特性,シクロイド軌道および非漸近収束保証について検討する。 近年の研究では、2MLRのバランスの取れた重みと、ノイズのない高信号対雑音比(SNR)の超線形収束が確立されている。
• 参考スコア（独自算出の注目度）: 11.223656960922478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work investigates the structural properties, cycloid trajectories, and non-asymptotic convergence guarantees of the Expectation-Maximization (EM) algorithm for two-component Mixed Linear Regression (2MLR) with unknown mixing weights and regression parameters. Recent studies have established global convergence for 2MLR with known balanced weights and super-linear convergence in noiseless and high signal-to-noise ratio (SNR) regimes. However, the theoretical behavior of EM in the fully unknown setting remains unclear, with its trajectory and convergence order not yet fully characterized. We derive explicit EM update expressions for 2MLR with unknown mixing weights and regression parameters across all SNR regimes and analyze their structural properties and cycloid trajectories. In the noiseless case, we prove that the trajectory of the regression parameters in EM iterations traces a cycloid by establishing a recurrence relation for the sub-optimality angle, while in high SNR regimes we quantify its discrepancy from the cycloid trajectory. The trajectory-based analysis reveals the order of convergence: linear when the EM estimate is nearly orthogonal to the ground truth, and quadratic when the angle between the estimate and ground truth is small at the population level. Our analysis establishes non-asymptotic guarantees by sharpening bounds on statistical errors between finite-sample and population EM updates, relating EM's statistical accuracy to the sub-optimality angle, and proving convergence with arbitrary initialization at the finite-sample level. This work provides a novel trajectory-based framework for analyzing EM in Mixed Linear Regression.
• Abstract（参考訳）: 本研究では、2成分混合線形回帰 (2MLR) に対する期待-最大化 (EM) アルゴリズムの構造特性, サイクロイド軌道および非漸近収束保証を未知の混合重みと回帰パラメータで検討する。 近年の研究では、2MLRのバランスの取れた重みと、ノイズのない高信号対雑音比(SNR)の超線形収束が確立されている。 しかし、完全に未知の環境でのEMの理論的挙動は、その軌道と収束順序がまだ完全には特徴付けられていないため、不明である。 本研究は,SNR系全体の混合重みと回帰パラメータが未知な2MLRに対する明示的なEM更新式を導出し,その構造特性とサイクロイド軌道の解析を行った。 ノイズレスの場合、EM反復における回帰パラメータの軌道は、準最適角の繰り返し関係を確立することによってシクロイドを辿り、高いSNRレジームではシクロイドの軌道との差を定量化する。 軌道に基づく解析は収束の順序を明らかにする: EM推定が基底真理にほぼ直交しているとき、および、推定と基底真理の間の角度が人口レベルで小さいとき、二次的である。 本分析は, 有限サンプル値と集団EM更新値の統計的誤差の境界を狭め, EMの統計的精度を準最適角度に関連付け, 有限サンプルレベルでの任意の初期化による収束を証明することによって, 非漸近的保証を確立する。 この研究は、Mixed Linear RegressionでEMを分析するための新しいトラジェクトリベースのフレームワークを提供する。

関連論文リスト

• Learning a Class of Mixed Linear Regressions: Global Convergence under General Data Conditions [1.9295130374196499]
  線形回帰モデル(MLR)は線形回帰モデル(英語版)の混合を利用して非線形関係における理論的および実践的重要性から注目されている。 このようなシステムの学習問題に多大な努力が注がれているが、既存のほとんどの調査では、厳密な独立性と同一に分散された(d.d.)あるいは分散PE条件が課されている。
  論文  参考訳（メタデータ） (2025-03-24T09:57:39Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Unveiling the Cycloid Trajectory of EM Iterations in Mixed Linear Regression [5.883916678819683]
  2成分混合線形回帰(2MLR)における反復の軌跡と期待最大化(EM)アルゴリズムの収束率について検討する。 近年, ノイズレスおよび高SNR環境下での2MLRにおけるEMの超線形収束が確立されている。
  論文  参考訳（メタデータ） (2024-05-28T14:46:20Z)
• Sharp analysis of EM for learning mixtures of pairwise differences [14.01151780845689]
  線形回帰とランダムサンプルの対称混合をペア比較設計から検討する。 我々は、列が線形収束することを証明し、反復数の推定誤差に対して$ell_infty$-normの保証を与える。 EMシーケンスの極限は$ell$-normにおける推定の急激な速度を達成し、情報理論の最適定数と一致することを示す。
  論文  参考訳（メタデータ） (2023-02-20T16:13:19Z)
• A Priori Denoising Strategies for Sparse Identification of Nonlinear Dynamical Systems: A Comparative Study [68.8204255655161]
  本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。 一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T23:31:25Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。