論文の概要: Optimal Estimation in Orthogonally Invariant Generalized Linear Models: Spectral Initialization and Approximate Message Passing

• arxiv url: http://arxiv.org/abs/2602.09240v1
• Date: Mon, 09 Feb 2026 22:08:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.266463
• Title: Optimal Estimation in Orthogonally Invariant Generalized Linear Models: Spectral Initialization and Approximate Message Passing
• Title（参考訳）: 直交不変一般化線形モデルの最適推定:スペクトル初期化と近似メッセージパッシング
• Authors: Yihan Zhang, Hong Chang Ji, Ramji Venkataramanan, Marco Mondelli,
• Abstract要約: 本稿では、最適スペクトル推定器と近似メッセージパッシング(AMP)アルゴリズムを提案する。 本稿では,スペクトル反復最適化のパラダイムに基づいて,最適スペクトル推定器と近似メッセージパッシング(AMP)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 36.35215381372567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of parameter estimation from a generalized linear model with a random design matrix that is orthogonally invariant in law. Such a model allows the design have an arbitrary distribution of singular values and only assumes that its singular vectors are generic. It is a vast generalization of the i.i.d. Gaussian design typically considered in the theoretical literature, and is motivated by the fact that real data often have a complex correlation structure so that methods relying on i.i.d. assumptions can be highly suboptimal. Building on the paradigm of spectrally-initialized iterative optimization, this paper proposes optimal spectral estimators and combines them with an approximate message passing (AMP) algorithm, establishing rigorous performance guarantees for these two algorithmic steps. Both the spectral initialization and the subsequent AMP meet existing conjectures on the fundamental limits to estimation -- the former on the optimal sample complexity for efficient weak recovery, and the latter on the optimal errors. Numerical experiments suggest the effectiveness of our methods and accuracy of our theory beyond orthogonally invariant data.
• Abstract（参考訳）: 法則において直交不変なランダムな設計行列を持つ一般化線形モデルからパラメータ推定の問題を考察する。 そのようなモデルにより、設計は特異値の任意の分布を持ち、その特異ベクトルが一般であることを仮定できる。 これは、理論文献で一般的に考慮されるi.d.ガウス設計の広大な一般化であり、実データがしばしば複素相関構造を持ち、i.d.仮定に依存するメソッドが極めて最適であるという事実に動機づけられている。 本稿では、スペクトル初期化反復最適化のパラダイムに基づいて、最適なスペクトル推定器を提案し、それらを近似メッセージパッシング(AMP)アルゴリズムと組み合わせ、これら2つのアルゴリズムの厳密な性能保証を確立する。 スペクトルの初期化とその後のAMPは、推定の基本的な限界に関する既存の予想に合致する -- 前者は効率的な弱い回復のために最適なサンプルの複雑さ、後者は最適なエラーである。 数値実験により,直交不変データを超えた手法の有効性と理論の精度が示唆された。

関連論文リスト

• Orthogonal Approximate Message Passing with Optimal Spectral Initializations for Rectangular Spiked Matrix Models [4.705915211123485]
  矩形スパイク行列モデルにおける信号推定のための近似メッセージパッシング(OAMP)アルゴリズムを提案する。 我々はアルゴリズムの高次元力学を正確に特徴付ける厳密な状態進化を確立する。 反復推定法の幅広いクラスにおいて統計的に最適であると推測する。
  論文  参考訳（メタデータ） (2025-12-22T12:28:53Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing [28.91482208876914]
  本研究では,高次元一般化線形モデルにおけるパラメータ推定の問題について考察する。 広く使われているにもかかわらず、厳密なパフォーマンス特性とデータ前処理の原則が、構造化されていない設計でのみ利用可能である。
  論文  参考訳（メタデータ） (2023-08-28T11:49:23Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。