論文の概要: Mixed Regression via Approximate Message Passing
- arxiv url: http://arxiv.org/abs/2304.02229v2
- Date: Tue, 15 Aug 2023 14:46:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 16:59:38.527310
- Title: Mixed Regression via Approximate Message Passing
- Title（参考訳）: 近似メッセージパッシングによる混合回帰
- Authors: Nelvin Tan, Ramji Venkataramanan
- Abstract要約: 複数の信号と潜伏変数を持つ一般化線形モデル(GLM)における回帰問題について検討する。
混合線形回帰では、それぞれの観測は$L$信号ベクトル(回帰器)の1つから来るが、どれがどれであるかはわからない。
最大アフィン回帰では、各観測は最大で$L$アフィン関数から成り、それぞれ異なる信号ベクトルによって定義される。
- 参考スコア（独自算出の注目度）: 16.91276351457051
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of regression in a generalized linear model (GLM) with
multiple signals and latent variables. This model, which we call a matrix GLM,
covers many widely studied problems in statistical learning, including mixed
linear regression, max-affine regression, and mixture-of-experts. In mixed
linear regression, each observation comes from one of $L$ signal vectors
(regressors), but we do not know which one; in max-affine regression, each
observation comes from the maximum of $L$ affine functions, each defined via a
different signal vector. The goal in all these problems is to estimate the
signals, and possibly some of the latent variables, from the observations. We
propose a novel approximate message passing (AMP) algorithm for estimation in a
matrix GLM and rigorously characterize its performance in the high-dimensional
limit. This characterization is in terms of a state evolution recursion, which
allows us to precisely compute performance measures such as the asymptotic
mean-squared error. The state evolution characterization can be used to tailor
the AMP algorithm to take advantage of any structural information known about
the signals. Using state evolution, we derive an optimal choice of AMP
`denoising' functions that minimizes the estimation error in each iteration.
The theoretical results are validated by numerical simulations for mixed
linear regression, max-affine regression, and mixture-of-experts. For
max-affine regression, we propose an algorithm that combines AMP with
expectation-maximization to estimate intercepts of the model along with the
signals. The numerical results show that AMP significantly outperforms other
estimators for mixed linear regression and max-affine regression in most
parameter regimes.
- Abstract（参考訳）: 複数の信号と潜伏変数を持つ一般化線形モデル(GLM)における回帰問題について検討する。
行列 GLM と呼ばれるこのモデルは、線形回帰、最大アフィン回帰、およびエキスパートの混合を含む、統計学習における多くの広く研究されている問題をカバーしている。
混合線形回帰では、各観測は1つの$L$信号ベクトル(回帰器)から来るが、どれかはわからない。
これらの問題すべてにおける目標は、観測から信号や潜在的変数を推定することである。
本稿では,行列 GLM における推定のための新しい近似メッセージパッシング (AMP) アルゴリズムを提案し,その性能を高次元限界で厳密に評価する。
この特性は状態の進化的再帰を考慮し、漸近平均二乗誤差のような性能測定を正確に計算することができる。
状態進化のキャラクタリゼーションは、AMPアルゴリズムを調整して、信号に関する構造情報を利用することができる。
状態の進化を用いて、各イテレーションにおける推定誤差を最小限に抑える AMP `denoising' 関数の最適選択を導出する。
理論的結果は, 混合線形回帰, 最大アフィン回帰, および混合実験の数値シミュレーションにより検証された。
最大アフィン回帰のために、AMPと予測最大化を組み合わせたアルゴリズムを提案し、その信号とともにモデルのインターセプトを推定する。
数値的な結果から,AMPは,多くのパラメータ系において線形回帰と最大偏差の混合に対して,他の推定値よりも有意に優れていた。
関連論文リスト
- REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。
核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
論文 参考訳（メタデータ） (2024-06-11T21:44:49Z) - Agnostic Learning of Mixed Linear Regressions with EM and AM Algorithms [22.79595679373698]
混合線形回帰は統計学と機械学習においてよく研究されている問題である。
本稿では、サンプルから混合線形回帰を学習する際のより一般的な問題について考察する。
AMアルゴリズムとEMアルゴリズムは, 集団損失最小化器に収束することにより, 混合線形回帰学習につながることを示す。
論文 参考訳（メタデータ） (2024-06-03T09:43:24Z) - Unveiling the Cycloid Trajectory of EM Iterations in Mixed Linear Regression [5.883916678819683]
2成分混合線形回帰(2MLR)における反復の軌跡と期待最大化(EM)アルゴリズムの収束率について検討する。
近年, ノイズレスおよび高SNR環境下での2MLRにおけるEMの超線形収束が確立されている。
論文 参考訳（メタデータ） (2024-05-28T14:46:20Z) - Max-affine regression via first-order methods [7.12511675782289]
最大アフィンモデルは信号処理と統計学の応用においてユビキタスに現れる。
最大アフィン回帰に対する勾配降下(GD)とミニバッチ勾配降下(SGD)の非漸近収束解析を行った。
論文 参考訳（メタデータ） (2023-08-15T23:46:44Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳（メタデータ） (2023-06-05T21:08:34Z) - Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models [31.58736590532443]
混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。
我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
論文 参考訳（メタデータ） (2022-11-21T11:35:25Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Graph Polynomial Convolution Models for Node Classification of
Non-Homophilous Graphs [52.52570805621925]
本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。
得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。
提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
論文 参考訳（メタデータ） (2022-09-12T04:46:55Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Max-Linear Regression by Convex Programming [5.366354612549172]
我々は、最大線形回帰問題の推定器として、アンカーレグレッション(AR)によって与えられるスケーラブルな凸プログラムを定式化し、解析する。
以上の結果から, 対数係数まで, 正確な回復スケールについて, 十分な数のノイズのない観測結果が得られた。
論文 参考訳（メタデータ） (2021-03-12T00:55:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。