論文の概要: Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing

• arxiv url: http://arxiv.org/abs/2308.14507v1
• Date: Mon, 28 Aug 2023 11:49:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 14:04:31.401426
• Title: Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing
• Title（参考訳）: 近似メッセージパッシングによる構造一般化線形モデルのスペクトル推定
• Authors: Yihan Zhang, Hong Chang Ji, Ramji Venkataramanan, Marco Mondelli
• Abstract要約: 一般化線形モデルによる観測からパラメータ推定の問題を考える。 スペクトル法は単純だが効果的な推定法である。 我々は、所望のスペクトル推定器と一致する固定点を持つ近似メッセージパッシングに基づく新しい戦略を開発する。
• 参考スコア（独自算出の注目度）: 31.58736590532443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of parameter estimation from observations given by a generalized linear model. Spectral methods are a simple yet effective approach for estimation: they estimate the parameter via the principal eigenvector of a matrix obtained by suitably preprocessing the observations. Despite their wide use, a rigorous performance characterization of spectral estimators, as well as a principled way to preprocess the data, is available only for unstructured (i.e., i.i.d. Gaussian and Haar) designs. In contrast, real-world design matrices are highly structured and exhibit non-trivial correlations. To address this problem, we consider correlated Gaussian designs which capture the anisotropic nature of the measurements via a feature covariance matrix $\Sigma$. Our main result is a precise asymptotic characterization of the performance of spectral estimators in this setting. This then allows to identify the optimal preprocessing that minimizes the number of samples needed to meaningfully estimate the parameter. Remarkably, such an optimal spectral estimator depends on $\Sigma$ only through its normalized trace, which can be consistently estimated from the data. Numerical results demonstrate the advantage of our principled approach over previous heuristic methods. Existing analyses of spectral estimators crucially rely on the rotational invariance of the design matrix. This key assumption does not hold for correlated Gaussian designs. To circumvent this difficulty, we develop a novel strategy based on designing and analyzing an approximate message passing algorithm whose fixed point coincides with the desired spectral estimator. Our methodology is general, and opens the way to the precise characterization of spiked matrices and of the corresponding spectral methods in a variety of settings.
• Abstract（参考訳）: 一般化線形モデルによる観測からパラメータ推定の問題を考える。 スペクトル法(spectrum method)は、観測を適切に前処理して得られる行列の主固有ベクトルを介してパラメータを推定する、単純かつ効果的な手法である。 広範囲にわたる使用にもかかわらず、スペクトル推定器の厳密な性能評価とデータの事前処理の原則的な方法が、非構造化(すなわちガウスとハール)設計でのみ利用可能である。 対照的に、実世界のデザイン行列は高度に構造化され、非自明な相関を示す。 この問題に対処するために、特徴共分散行列$\Sigma$を介して測定の異方性を取り込む相関ガウス設計を考える。 本研究の主な成果は,スペクトル推定器の性能の高精度な漸近的評価である。 これにより、パラメータを有意に見積もるのに必要なサンプルの数を最小化する最適な前処理を特定できる。 このような最適なスペクトル推定器は、データから一貫して推定できる正規化トレースを通してのみ$\Sigma$に依存する。 従来のヒューリスティック手法に対する原理的アプローチの利点を数値的に示す。 スペクトル推定器の既存の解析は、設計行列の回転不変性に依存する。 この重要な仮定は、相関ガウス設計には当てはまらない。 この難しさを回避するために,不動点が所望のスペクトル推定値と一致する近似メッセージパッシングアルゴリズムを設計・解析する新しい手法を開発した。 提案手法は一般的な手法であり,様々な条件下でのスパイク行列と対応するスペクトル手法の精度評価への道を開く。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models [31.58736590532443]
  混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。 我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
  論文  参考訳（メタデータ） (2022-11-21T11:35:25Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)
• Nonconvex Matrix Completion with Linearly Parameterized Factors [10.163102766021373]
  パラメトリック因子化は、部分空間や完了シミュレーションを含む重要な例を示す。 また, 統一的非制約行列最適化法の有効性について述べる。
  論文  参考訳（メタデータ） (2020-03-29T22:40:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。