論文の概要: Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing

• arxiv url: http://arxiv.org/abs/2308.14507v3
• Date: Wed, 3 Jul 2024 11:43:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 20:43:01.850583
• Title: Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing
• Title（参考訳）: 近似メッセージパッシングによる構造一般化線形モデルのスペクトル推定
• Authors: Yihan Zhang, Hong Chang Ji, Ramji Venkataramanan, Marco Mondelli,
• Abstract要約: 本研究では,高次元一般化線形モデルにおけるパラメータ推定の問題について考察する。 広く使われているにもかかわらず、厳密なパフォーマンス特性とデータ前処理の原則が、構造化されていない設計でのみ利用可能である。
• 参考スコア（独自算出の注目度）: 28.91482208876914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of parameter estimation in a high-dimensional generalized linear model. Spectral methods obtained via the principal eigenvector of a suitable data-dependent matrix provide a simple yet surprisingly effective solution. However, despite their wide use, a rigorous performance characterization, as well as a principled way to preprocess the data, are available only for unstructured (i.i.d.\ Gaussian and Haar orthogonal) designs. In contrast, real-world data matrices are highly structured and exhibit non-trivial correlations. To address the problem, we consider correlated Gaussian designs capturing the anisotropic nature of the features via a covariance matrix $\Sigma$. Our main result is a precise asymptotic characterization of the performance of spectral estimators. This allows us to identify the optimal preprocessing that minimizes the number of samples needed for parameter estimation. Surprisingly, such preprocessing is universal across a broad set of designs, which partly addresses a conjecture on optimal spectral estimators for rotationally invariant models. Our principled approach vastly improves upon previous heuristic methods, including for designs common in computational imaging and genetics. The proposed methodology, based on approximate message passing, is broadly applicable and opens the way to the precise characterization of spiked matrices and of the corresponding spectral methods in a variety of settings.
• Abstract（参考訳）: 本研究では,高次元一般化線形モデルにおけるパラメータ推定の問題について考察する。 適切なデータ依存行列の主固有ベクトルを介して得られるスペクトル法は、単純だが驚くほど効果的な解を与える。 しかし、その広範囲な使用にもかかわらず、厳密な性能特性とデータ前処理の原理的な方法が、非構造化(すなわちガウスおよびハール直交)設計でのみ利用可能である。 対照的に、実世界のデータ行列は高度に構造化されており、非自明な相関を示す。 この問題に対処するために、共分散行列$\Sigma$を介して特徴の異方性を取り込む相関ガウス設計を考える。 本研究の主な成果は,スペクトル推定器の性能の高精度な漸近的評価である。 これにより、パラメータ推定に必要なサンプルの数を最小化する最適な前処理を特定できる。 驚くべきことに、そのような前処理は幅広い設計の集合で普遍的であり、部分的には回転不変モデルに対する最適スペクトル推定器の予想に対処する。 我々の原理的アプローチは、計算画像や遺伝学に共通する設計を含む、過去のヒューリスティックな手法を大幅に改善する。 提案手法は, 近似メッセージパッシングを基礎として, スパイクされた行列の精密な評価と, 対応するスペクトル手法の様々な設定への道を開くものである。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models [31.58736590532443]
  混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。 我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
  論文  参考訳（メタデータ） (2022-11-21T11:35:25Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)
• Nonconvex Matrix Completion with Linearly Parameterized Factors [10.163102766021373]
  パラメトリック因子化は、部分空間や完了シミュレーションを含む重要な例を示す。 また, 統一的非制約行列最適化法の有効性について述べる。
  論文  参考訳（メタデータ） (2020-03-29T22:40:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。