論文の概要: Efficient Algorithms for Estimating the Parameters of Mixed Linear Regression Models

• arxiv url: http://arxiv.org/abs/2105.05953v1
• Date: Wed, 12 May 2021 20:29:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 14:02:43.475192
• Title: Efficient Algorithms for Estimating the Parameters of Mixed Linear Regression Models
• Title（参考訳）: 混合線形回帰モデルのパラメータ推定のための効率的なアルゴリズム
• Authors: Babak Barazandeh, Ali Ghafelebashi, Meisam Razaviyayn, Ram Sriharsha
• Abstract要約: 加法雑音が非ガウス分布を持つ場合のMLRモデルのパラメータの最大推定について検討する。 そこで本研究では,乗算器の交互方向法(ADMM)とEMアルゴリズムのアイデアを組み合わせた新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 10.164623585528805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixed linear regression (MLR) model is among the most exemplary statistical tools for modeling non-linear distributions using a mixture of linear models. When the additive noise in MLR model is Gaussian, Expectation-Maximization (EM) algorithm is a widely-used algorithm for maximum likelihood estimation of MLR parameters. However, when noise is non-Gaussian, the steps of EM algorithm may not have closed-form update rules, which makes EM algorithm impractical. In this work, we study the maximum likelihood estimation of the parameters of MLR model when the additive noise has non-Gaussian distribution. In particular, we consider the case that noise has Laplacian distribution and we first show that unlike the the Gaussian case, the resulting sub-problems of EM algorithm in this case does not have closed-form update rule, thus preventing us from using EM in this case. To overcome this issue, we propose a new algorithm based on combining the alternating direction method of multipliers (ADMM) with EM algorithm idea. Our numerical experiments show that our method outperforms the EM algorithm in statistical accuracy and computational time in non-Gaussian noise case.
• Abstract（参考訳）: 混合線形回帰(MLR)モデルは、線形モデルの混合を用いて非線形分布をモデル化するための最も典型的な統計ツールの一つである。 MLRモデルの付加雑音がガウスである場合、期待最大化(EM)アルゴリズムはMLRパラメータの最大推定に広く用いられるアルゴリズムである。 しかし、ノイズがガウス的でない場合、EMアルゴリズムのステップはクローズドフォームの更新ルールを持たず、EMアルゴリズムは非現実的である。 本研究では,加法雑音が非ガウス分布を持つ場合のMLRモデルのパラメータの最大推定について検討する。 特に、ノイズがラプラシアン分布を持つ場合を考え、最初にガウスの場合とは異なり、この場合のEMアルゴリズムの結果として生じるサブプロブレムが閉形式更新規則を持たないことを示し、この場合のEMの使用を妨げている。 そこで本研究では,乗算器の交互方向法(ADMM)とEMアルゴリズムのアイデアを組み合わせた新しいアルゴリズムを提案する。 数値実験により,非ガウス雑音の場合,emアルゴリズムを統計的精度,計算時間で上回ることを示す。

関連論文リスト

• Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise [19.496063739638924]
  構造スパイクモデルに対するベイズ推定の飽和問題を考える。 適応的なThouless-Anderson-Palmer方程式の理論にインスパイアされた効率的なアルゴリズムを用いて、統計的限界を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-31T16:38:35Z)
• Mixed Noise and Posterior Estimation with Conditional DeepGEM [1.1650821883155187]
  逆問題における後部パラメータと雑音パラメータを同時推定する新しいアルゴリズムを開発した。 我々のモデルは,従来のアプローチとは異なり,多くの測定値から情報を組み込むことができることを示す。
  論文  参考訳（メタデータ） (2024-02-05T12:42:21Z)
• Algorithme EM r\'egularis\'e [0.0]
  本稿では,より少ないサンプルサイズに対応するために,事前知識を効率的に活用するEMアルゴリズムの正規化バージョンを提案する。 実データを用いた実験では,クラスタリングのための提案アルゴリズムの性能が向上した。
  論文  参考訳（メタデータ） (2023-07-04T23:19:25Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
  Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。 提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-22T17:58:23Z)
• Beyond EM Algorithm on Over-specified Two-Component Location-Scale Gaussian Mixtures [29.26015093627193]
  負の対数様関数の曲率を効率的に探索するために,指数位置更新法(ELU)アルゴリズムを開発した。 ELUアルゴリズムは、対数的な反復数の後、モデルの最終的な統計的半径に収束することを示した。
  論文  参考訳（メタデータ） (2022-05-23T06:49:55Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。