論文の概要: Spectral Estimators for Structured Generalized Linear Models via
Approximate Message Passing
- arxiv url: http://arxiv.org/abs/2308.14507v1
- Date: Mon, 28 Aug 2023 11:49:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 14:04:31.401426
- Title: Spectral Estimators for Structured Generalized Linear Models via
Approximate Message Passing
- Title(参考訳): 近似メッセージパッシングによる構造一般化線形モデルのスペクトル推定
- Authors: Yihan Zhang, Hong Chang Ji, Ramji Venkataramanan, Marco Mondelli
- Abstract要約: 一般化線形モデルによる観測からパラメータ推定の問題を考える。
スペクトル法は単純だが効果的な推定法である。
我々は、所望のスペクトル推定器と一致する固定点を持つ近似メッセージパッシングに基づく新しい戦略を開発する。
- 参考スコア(独自算出の注目度): 31.58736590532443
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of parameter estimation from observations given by a
generalized linear model. Spectral methods are a simple yet effective approach
for estimation: they estimate the parameter via the principal eigenvector of a
matrix obtained by suitably preprocessing the observations. Despite their wide
use, a rigorous performance characterization of spectral estimators, as well as
a principled way to preprocess the data, is available only for unstructured
(i.e., i.i.d. Gaussian and Haar) designs. In contrast, real-world design
matrices are highly structured and exhibit non-trivial correlations. To address
this problem, we consider correlated Gaussian designs which capture the
anisotropic nature of the measurements via a feature covariance matrix
$\Sigma$. Our main result is a precise asymptotic characterization of the
performance of spectral estimators in this setting. This then allows to
identify the optimal preprocessing that minimizes the number of samples needed
to meaningfully estimate the parameter. Remarkably, such an optimal spectral
estimator depends on $\Sigma$ only through its normalized trace, which can be
consistently estimated from the data. Numerical results demonstrate the
advantage of our principled approach over previous heuristic methods.
Existing analyses of spectral estimators crucially rely on the rotational
invariance of the design matrix. This key assumption does not hold for
correlated Gaussian designs. To circumvent this difficulty, we develop a novel
strategy based on designing and analyzing an approximate message passing
algorithm whose fixed point coincides with the desired spectral estimator. Our
methodology is general, and opens the way to the precise characterization of
spiked matrices and of the corresponding spectral methods in a variety of
settings.
- Abstract(参考訳): 一般化線形モデルによる観測からパラメータ推定の問題を考える。
スペクトル法(spectrum method)は、観測を適切に前処理して得られる行列の主固有ベクトルを介してパラメータを推定する、単純かつ効果的な手法である。
広範囲にわたる使用にもかかわらず、スペクトル推定器の厳密な性能評価とデータの事前処理の原則的な方法が、非構造化(すなわちガウスとハール)設計でのみ利用可能である。
対照的に、実世界のデザイン行列は高度に構造化され、非自明な相関を示す。
この問題に対処するために、特徴共分散行列$\Sigma$を介して測定の異方性を取り込む相関ガウス設計を考える。
本研究の主な成果は,スペクトル推定器の性能の高精度な漸近的評価である。
これにより、パラメータを有意に見積もるのに必要なサンプルの数を最小化する最適な前処理を特定できる。
このような最適なスペクトル推定器は、データから一貫して推定できる正規化トレースを通してのみ$\Sigma$に依存する。
従来のヒューリスティック手法に対する原理的アプローチの利点を数値的に示す。
スペクトル推定器の既存の解析は、設計行列の回転不変性に依存する。
この重要な仮定は、相関ガウス設計には当てはまらない。
この難しさを回避するために,不動点が所望のスペクトル推定値と一致する近似メッセージパッシングアルゴリズムを設計・解析する新しい手法を開発した。
提案手法は一般的な手法であり,様々な条件下でのスパイク行列と対応するスペクトル手法の精度評価への道を開く。
関連論文リスト
- Convex Parameter Estimation of Perturbed Multivariate Generalized
Gaussian Distributions [18.95928707619676]
本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。
提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。
実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
論文 参考訳(メタデータ) (2023-12-12T18:08:04Z) - Spectrum-Aware Adjustment: A New Debiasing Framework with Applications
to Principal Component Regression [1.5863809575305419]
我々は高次元線形回帰のための新しいデバイアス化フレームワークを導入する。
特徴量とサンプルの数が大小を問わず比較できるような,一般的な設定について検討する。
本手法は,自由度デバイアスをマージンで上回ることを示す。
論文 参考訳(メタデータ) (2023-09-14T15:58:30Z) - Bayesian Analysis for Over-parameterized Linear Model without Sparsity [8.1585306387285]
本研究では,データ共分散行列の固有ベクトルに依存する事前分布を用いたベイズ的手法を提案する。
また、導出した後続推定の収縮率も提供し、後続分布のガウス近似を計算した。
これらの結果は,データスペクトルを処理し,非スパースな高次元パラメータを推定できるベイズ的手法が実現可能であることを示唆している。
論文 参考訳(メタデータ) (2023-05-25T06:07:47Z) - Precise Asymptotics for Spectral Methods in Mixed Generalized Linear
Models [30.627367021180085]
混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。
我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
論文 参考訳(メタデータ) (2022-11-21T11:35:25Z) - Isotropic Gaussian Processes on Finite Spaces of Graphs [71.26737403006778]
種々の非重み付きグラフの集合上でガウス過程の先行を定義するための原理的手法を提案する。
さらに、未重み付きグラフの同値類の集合を検討し、それに対する事前の適切なバージョンを定義する。
化学の応用に触発されて、我々は、小データ構造における実際の分子特性予測タスクについて、提案手法を解説した。
論文 参考訳(メタデータ) (2022-11-03T10:18:17Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Gaussian Process Regression for Absorption Spectra Analysis of Molecular
Dimers [68.8204255655161]
本稿では、ガウス過程回帰(GPR)から数値計算のパラメータを選択する機械学習技術に基づくアプローチについて議論する。
このアプローチは最適パラメータ集合に素早く収束するだけでなく、完全なパラメータ空間に関する情報を提供する。
実際、GPRは量子化学法を用いてこれらのパラメータの直接計算と一致した信頼性の高い結果を与える。
論文 参考訳(メタデータ) (2021-12-14T17:46:45Z) - A Random Matrix Perspective on Random Tensors [40.89521598604993]
与えられたランダムテンソルの収縮から生じるランダム行列のスペクトルについて検討する。
本手法は,ML問題の局所的な最大値の未知な特徴を与える。
我々のアプローチは万能であり、非対称、非ガウス的、高階的など他のモデルにも拡張できる。
論文 参考訳(メタデータ) (2021-08-02T10:42:22Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳(メタデータ) (2020-11-08T17:09:37Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。