Fugu-MT 論文翻訳(概要): Characterizing Evolution in Expectation-Maximization Estimates for Overspecified Mixed Linear Regression

論文の概要: Characterizing Evolution in Expectation-Maximization Estimates for Overspecified Mixed Linear Regression

arxiv url: http://arxiv.org/abs/2508.10154v1
Date: Wed, 13 Aug 2025 19:37:59 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-15 22:24:48.099862
Title: Characterizing Evolution in Expectation-Maximization Estimates for Overspecified Mixed Linear Regression
Title（参考訳）: 過特定混合線形回帰の予測最大化推定における特徴付け進化
Authors: Zhankun Luo, Abolfazl Hashemi,
Abstract要約: そこで本研究では,予測最大化アルゴリズムの振る舞いに関する理論的理解を,対象モデルの不特定という文脈で展開する。統計的精度は$O((d/n)1/2)$であるのに対し、十分にバランスの取れた固定混合重量を持つ場合は$O((d/n)1/4)$$$$$$n$である。
参考スコア（独自算出の注目度）: 5.883916678819683
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Mixture models have attracted significant attention due to practical effectiveness and comprehensive theoretical foundations. A persisting challenge is model misspecification, which occurs when the model to be fitted has more mixture components than those in the data distribution. In this paper, we develop a theoretical understanding of the Expectation-Maximization (EM) algorithm's behavior in the context of targeted model misspecification for overspecified two-component Mixed Linear Regression (2MLR) with unknown $d$-dimensional regression parameters and mixing weights. In Theorem 5.1 at the population level, with an unbalanced initial guess for mixing weights, we establish linear convergence of regression parameters in $O(\log(1/\epsilon))$ steps. Conversely, with a balanced initial guess for mixing weights, we observe sublinear convergence in $O(\epsilon^{-2})$ steps to achieve the $\epsilon$-accuracy at Euclidean distance. In Theorem 6.1 at the finite-sample level, for mixtures with sufficiently unbalanced fixed mixing weights, we demonstrate a statistical accuracy of $O((d/n)^{1/2})$, whereas for those with sufficiently balanced fixed mixing weights, the accuracy is $O((d/n)^{1/4})$ given $n$ data samples. Furthermore, we underscore the connection between our population level and finite-sample level results: by setting the desired final accuracy $\epsilon$ in Theorem 5.1 to match that in Theorem 6.1 at the finite-sample level, namely letting $\epsilon = O((d/n)^{1/2})$ for sufficiently unbalanced fixed mixing weights and $\epsilon = O((d/n)^{1/4})$ for sufficiently balanced fixed mixing weights, we intuitively derive iteration complexity bounds $O(\log (1/\epsilon))=O(\log (n/d))$ and $O(\epsilon^{-2})=O((n/d)^{1/2})$ at the finite-sample level for sufficiently unbalanced and balanced initial mixing weights. We further extend our analysis in overspecified setting to low SNR regime.
Abstract（参考訳）: 混合モデルは、実用的効果と包括的な理論的基礎のために大きな注目を集めている。これは、適合するモデルがデータ分散のモデルよりも混合成分が多い場合に発生する。本稿では,不特定な2成分混合線形回帰(2MLR)に対して,未知の$d$次元回帰パラメータと混合重みを持つターゲットモデルの不特定という文脈において,予測最大化(EM)アルゴリズムの振る舞いを理論的に理解する。 Theorem 5.1 at the population level, with a un balanced initial guess for mix weights, we establish linear convergence of regression parameters in $O(\log(1/\epsilon)$ steps。逆に、ウェイトを混合するためのバランスの取れた初期推定により、ユークリッド距離での$\epsilon$-精度を達成するために$O(\epsilon^{-2})$のステップでのサブ線形収束を観測する。有限サンプルレベルでのTheorem 6.1では、十分にバランスの取れていない固定混合重量の混合物に対して、統計的精度は$O((d/n)^{1/2})$であるが、十分にバランスの取れた固定混合重量の場合には$O((d/n)^{1/4})$$$$$$$n$のデータサンプルを示す。さらに、所望の最終精度$\epsilon$ in Theorem 5.1を有限サンプルレベルで設定することで、不均衡な固定混合重量に対して$\epsilon = O((d/n)^{1/2})$を、十分にバランスの取れた固定混合重量に対して$\epsilon = O((d/n)^{1/4})$を、十分にバランスの取れた固定混合重量に対して$O(\log (1/\epsilon))=O(\log (n/d))$と$O(\epsilon^{-2)=O(n/d)$を、有限アンバランスな混合重量に対して$O(\log (1/\epsilon)=O(\log (n/d)$と$O(\epsilon-2)=O(n/d1/2)$を直感的に導出する。我々はさらに、過剰な設定で分析を低SNR体制にまで拡張する。

論文の概要: Characterizing Evolution in Expectation-Maximization Estimates for Overspecified Mixed Linear Regression

関連論文リスト