論文の概要: Agnostic Learning of Mixed Linear Regressions with EM and AM Algorithms

• arxiv url: http://arxiv.org/abs/2406.01149v1
• Date: Mon, 3 Jun 2024 09:43:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 01:38:29.345123
• Title: Agnostic Learning of Mixed Linear Regressions with EM and AM Algorithms
• Title（参考訳）: EMおよびAMアルゴリズムを用いた混合線形回帰の非依存学習
• Authors: Avishek Ghosh, Arya Mazumdar,
• Abstract要約: 混合線形回帰は統計学と機械学習においてよく研究されている問題である。 本稿では、サンプルから混合線形回帰を学習する際のより一般的な問題について考察する。 AMアルゴリズムとEMアルゴリズムは, 集団損失最小化器に収束することにより, 混合線形回帰学習につながることを示す。
• 参考スコア（独自算出の注目度）: 22.79595679373698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixed linear regression is a well-studied problem in parametric statistics and machine learning. Given a set of samples, tuples of covariates and labels, the task of mixed linear regression is to find a small list of linear relationships that best fit the samples. Usually it is assumed that the label is generated stochastically by randomly selecting one of two or more linear functions, applying this chosen function to the covariates, and potentially introducing noise to the result. In that situation, the objective is to estimate the ground-truth linear functions up to some parameter error. The popular expectation maximization (EM) and alternating minimization (AM) algorithms have been previously analyzed for this. In this paper, we consider the more general problem of agnostic learning of mixed linear regression from samples, without such generative models. In particular, we show that the AM and EM algorithms, under standard conditions of separability and good initialization, lead to agnostic learning in mixed linear regression by converging to the population loss minimizers, for suitably defined loss functions. In some sense, this shows the strength of AM and EM algorithms that converges to ``optimal solutions'' even in the absence of realizable generative models.
• Abstract（参考訳）: 混合線形回帰はパラメトリック統計学と機械学習においてよく研究されている問題である。 サンプルの集合、共変量およびラベルのタプルが与えられたとき、混合線形回帰のタスクは、サンプルに最もよく適合する線形関係の小さなリストを見つけることである。 通常、ラベルは2つ以上の線形関数のうちの1つをランダムに選択し、この選択された関数を共変量に適用し、その結果にノイズを導入することによって確率的に生成されると仮定される。 この状況下では、基底真実線型関数をパラメータ誤差まで推定することが目的である。 一般的な予測最大化 (EM) と交代最小化 (AM) アルゴリズムは、これまで分析されてきた。 本稿では,このような生成モデルを用いることなく,サンプルからの混合線形回帰の非依存学習のより一般的な問題について考察する。 特に, AMとEMのアルゴリズムは, 分離性と良好な初期化の標準的な条件下で, 集団損失最小化器に収束することにより, 混合線形回帰における非依存的な学習をもたらすことを示す。 ある意味で、これは「最適解」に収束するAMアルゴリズムとEMアルゴリズムの強みを示している。

関連論文リスト

• Global Convergence of Online Identification for Mixed Linear Regression [1.9295130374196499]
  混合線形回帰(MLR)は非線形関係を特徴づける強力なモデルである。 本稿では,MLRの2つの基本クラスにおけるオンライン識別とデータクラスタリングの問題について検討する。 期待最大化原理に基づく新しいオンライン識別アルゴリズムを2つ導入する。
  論文  参考訳（メタデータ） (2023-11-30T12:30:42Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Mixed Regression via Approximate Message Passing [16.91276351457051]
  複数の信号と潜伏変数を持つ一般化線形モデル(GLM)における回帰問題について検討する。 混合線形回帰では、それぞれの観測は$L$信号ベクトル(回帰器)の1つから来るが、どれがどれであるかはわからない。 最大アフィン回帰では、各観測は最大で$L$アフィン関数から成り、それぞれ異なる信号ベクトルによって定義される。
  論文  参考訳（メタデータ） (2023-04-05T04:59:59Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• On Learning Mixture of Linear Regressions in the Non-Realizable Setting [44.307245411703704]
  線形回帰(MLR)の混合はラベルを予測せずに値のリストを予測できることを示す。 本稿では,一般的な最小化 (AM) アルゴリズムのバージョンが,実現可能なモデルが仮定されていない場合でも,データセットに最も適した線を見つけることを示す。
  論文  参考訳（メタデータ） (2022-05-26T05:34:57Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Piecewise linear regression and classification [0.20305676256390928]
  本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。 本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
  論文  参考訳（メタデータ） (2021-03-10T17:07:57Z)
• Learning Mixtures of Low-Rank Models [89.39877968115833]
  低ランクモデルの計算混合を学習する問題について検討する。 ほぼ最適サンプルを用いて未知の行列を復元することが保証されるアルゴリズムを開発する。 さらに,提案アルゴリズムはランダムノイズに対して確実に安定である。
  論文  参考訳（メタデータ） (2020-09-23T17:53:48Z)
• A spectral algorithm for robust regression with subgaussian rates [0.0]
  本研究では, 試料の分布に強い仮定がない場合の線形回帰に対する2次時間に対する新しい線形アルゴリズムについて検討する。 目的は、データが有限モーメントしか持たなくても最適な準ガウス誤差を達成できる手順を設計することである。
  論文  参考訳（メタデータ） (2020-07-12T19:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。