論文の概要: Expectation Maximization (EM) Converges for General Agnostic Mixtures

• arxiv url: http://arxiv.org/abs/2604.05842v1
• Date: Tue, 07 Apr 2026 13:09:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.839833
• Title: Expectation Maximization (EM) Converges for General Agnostic Mixtures
• Title（参考訳）: 一般グノースティック混合に対する期待最大化(EM)収束
• Authors: Avishek Ghosh,
• Abstract要約: データポイントのセットが与えられた場合、目的は適切な損失関数を最小化することで$k$ラインに適合する。 勾配EMは、高い確率で適切に定義された人口損失最小化器に指数関数的に収束する。 これは、非生成的なセットアップにおいて、最適解に収束するEM型アルゴリズムの有効性を示す。
• 参考スコア（独自算出の注目度）: 10.42358047828068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture of linear regression is well studied in statistics and machine learning, where the data points are generated probabilistically using $k$ linear models. Algorithms like Expectation Maximization (EM) may be used to recover the ground truth regressors for this problem. Recently, in \cite{pal2022learning,ghosh_agnostic} the mixed linear regression problem is studied in the agnostic setting, where no generative model on data is assumed. Rather, given a set of data points, the objective is \emph{fit} $k$ lines by minimizing a suitable loss function. It is shown that a modification of EM, namely gradient EM converges exponentially to appropriately defined loss minimizer even in the agnostic setting. In this paper, we study the problem of \emph{fitting} $k$ parametric functions to given set of data points. We adhere to the agnostic setup. However, instead of fitting lines equipped with quadratic loss, we consider any arbitrary parametric function fitting equipped with a strongly convex and smooth loss. This framework encompasses a large class of problems including mixed linear regression (regularized), mixed linear classifiers (mixed logistic regression, mixed Support Vector Machines) and mixed generalized linear regression. We propose and analyze gradient EM for this problem and show that with proper initialization and separation condition, the iterates of gradient EM converge exponentially to appropriately defined population loss minimizers with high probability. This shows the effectiveness of EM type algorithm which converges to \emph{optimal} solution in the non-generative setup beyond mixture of linear regression.
• Abstract（参考訳）: 線形回帰の混合は統計学や機械学習においてよく研究されており、そこでは$k$線形モデルを用いて確率的にデータポイントが生成される。 期待最大化(EM)のようなアルゴリズムは、この問題の真理回帰器を復元するために用いられる。 近年,データ生成モデルが仮定されないような,混合線形回帰問題の研究が行われている。 むしろ、データポイントのセットが与えられた場合、目的は適切な損失関数を最小化することで、 \emph{fit} $k$行である。 EMの修正、すなわち勾配 EM は、不可知条件下であっても、適切に定義された損失最小化器に指数関数的に収束する。 本稿では,与えられたデータ点の集合に対して, \emph{fitting} $k$パラメトリック関数の問題を考察する。 私たちは不可知的な設定に固執する。 しかし,2次損失を持つ直線を装着する代わりに,強い凸と滑らかな損失を有する任意のパラメトリック関数を考える。 このフレームワークは、混合線形回帰(正規化)、混合線形分類器(混合ロジスティック回帰、混合支援ベクトルマシン)、混合一般化線形回帰を含む多くの問題を含む。 この問題に対して勾配EMを提案し解析し、適切な初期化と分離条件により、勾配EMの繰り返しが指数関数的に、高い確率で適切に定義された集団損失最小化器に収束することを示す。 このことは、線形回帰の混合を超えた非生成的セットアップにおいて \emph{optimal} 解に収束する EM 型アルゴリズムの有効性を示す。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Agnostic Learning of Mixed Linear Regressions with EM and AM Algorithms [22.79595679373698]
  混合線形回帰は統計学と機械学習においてよく研究されている問題である。 本稿では、サンプルから混合線形回帰を学習する際のより一般的な問題について考察する。 AMアルゴリズムとEMアルゴリズムは, 集団損失最小化器に収束することにより, 混合線形回帰学習につながることを示す。
  論文  参考訳（メタデータ） (2024-06-03T09:43:24Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Mixed Regression via Approximate Message Passing [16.91276351457051]
  複数の信号と潜伏変数を持つ一般化線形モデル(GLM)における回帰問題について検討する。 混合線形回帰では、それぞれの観測は$L$信号ベクトル(回帰器)の1つから来るが、どれがどれであるかはわからない。 最大アフィン回帰では、各観測は最大で$L$アフィン関数から成り、それぞれ異なる信号ベクトルによって定義される。
  論文  参考訳（メタデータ） (2023-04-05T04:59:59Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• On Learning Mixture of Linear Regressions in the Non-Realizable Setting [44.307245411703704]
  線形回帰(MLR)の混合はラベルを予測せずに値のリストを予測できることを示す。 本稿では,一般的な最小化 (AM) アルゴリズムのバージョンが,実現可能なモデルが仮定されていない場合でも,データセットに最も適した線を見つけることを示す。
  論文  参考訳（メタデータ） (2022-05-26T05:34:57Z)
• Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures [100.55816326422773]
  線形分類問題に対する最大マージン分類器の現象について検討する。 その結果、良性的なオーバーフィットが起きる条件を正確に特徴づけます。
  論文  参考訳（メタデータ） (2021-04-28T08:25:16Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Piecewise linear regression and classification [0.20305676256390928]
  本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。 本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
  論文  参考訳（メタデータ） (2021-03-10T17:07:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。