論文の概要: On Universality of Non-Separable Approximate Message Passing Algorithms

• arxiv url: http://arxiv.org/abs/2506.23010v1
• Date: Sat, 28 Jun 2025 20:48:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.667865
• Title: On Universality of Non-Separable Approximate Message Passing Algorithms
• Title（参考訳）: 非分離近似メッセージパッシングアルゴリズムの普遍性について
• Authors: Max Lovig, Tianhao Wang, Zhou Fan,
• Abstract要約: 非分離性アルゴリズム力学の平均場特性は、主にi.i.d.に制限されている。 我々はLipschitz AMPアルゴリズムの条件BCP近似性を定式化し、同様の普遍的な保証を享受する。 非分離非線型性の多くの共通類が BCP-近似可能であることを示す。
• 参考スコア（独自算出の注目度）: 5.180010293892597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mean-field characterizations of first-order iterative algorithms -- including Approximate Message Passing (AMP), stochastic and proximal gradient descent, and Langevin diffusions -- have enabled a precise understanding of learning dynamics in many statistical applications. For algorithms whose non-linearities have a coordinate-separable form, it is known that such characterizations enjoy a degree of universality with respect to the underlying data distribution. However, mean-field characterizations of non-separable algorithm dynamics have largely remained restricted to i.i.d. Gaussian or rotationally-invariant data. In this work, we initiate a study of universality for non-separable AMP algorithms. We identify a general condition for AMP with polynomial non-linearities, in terms of a Bounded Composition Property (BCP) for their representing tensors, to admit a state evolution that holds universally for matrices with non-Gaussian entries. We then formalize a condition of BCP-approximability for Lipschitz AMP algorithms to enjoy a similar universal guarantee. We demonstrate that many common classes of non-separable non-linearities are BCP-approximable, including local denoisers, spectral denoisers for generic signals, and compositions of separable functions with generic linear maps, implying the universality of state evolution for AMP algorithms employing these non-linearities.
• Abstract（参考訳）: Approximate Message Passing (AMP)、確率的および近位勾配降下、ランゲヴィン拡散など、一階反復アルゴリズムの意味的特徴は、多くの統計的応用における学習力学の正確な理解を可能にしている。 非線型性が座標分離可能な形式を持つアルゴリズムの場合、そのような特徴付けは基礎となるデータ分布に関して普遍性を持っていることが知られている。 しかし、非分離性アルゴリズム力学の平均場特性はガウス的あるいは回転不変なデータに大きく制限されている。 本研究では,非分離型AMPアルゴリズムの普遍性について検討する。 多項式非線型性を持つAMPの一般的な条件を、テンソルを表す境界構成性(BCP)の観点から特定し、非ガウス成分を持つ行列に対して普遍的に保持される状態の進化を認める。 次に、リプシッツAMPアルゴリズムのBCP近似の条件を定式化し、同様の普遍的保証を享受する。 非分離性非線型性の多くの共通クラスがBCP近似可能であることを示す。その中には、局所分解器、一般信号のスペクトル分解器、および一般線型写像を用いた分離性関数の合成が含まれており、これらの非線型性を用いたAMPアルゴリズムの状態進化の普遍性を示している。

関連論文リスト

• An Accelerated Alternating Partial Bregman Algorithm for ReLU-based Matrix Decomposition [0.0]
  本稿では,非負行列上に補正されたスパース低ランク特性について検討する。 本稿では,クラスタリングと圧縮タスクに有用な構造を取り入れた新しい正規化項を提案する。 我々は、任意の$Lge 1$に対して常に持つ$L$-smoothプロパティを維持しながら、対応する閉形式解を導出する。
  論文  参考訳（メタデータ） (2025-03-04T08:20:34Z)
• Gradient descent inference in empirical risk minimization [1.1510009152620668]
  勾配降下法は、現代の統計学習において最も広く使われている反復アルゴリズムの1つである。 本稿では,多種多様な経験的リスク最小化問題における勾配降下の精度,非漸近的特性について述べる。
  論文  参考訳（メタデータ） (2024-12-12T17:47:08Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Sufficient Statistic Memory Approximate Message Passing [5.708490209087275]
  AMP型アルゴリズムの重要な特徴は、それらの力学が状態進化によって正しく記述できることである。 本稿では,十分な統計条件下でのメモリAMP(MAMP)を提案する。
  論文  参考訳（メタデータ） (2022-06-23T13:06:00Z)
• Estimation in Rotationally Invariant Generalized Linear Models via Approximate Message Passing [21.871513580418604]
  本稿では,信号推定のための近接メッセージパッシング(AMP)アルゴリズムの新たなファミリーを提案する。 我々は、状態進化再帰を通じて高次元の限界におけるそれらの性能を厳格に特徴づける。
  論文  参考訳（メタデータ） (2021-12-08T15:20:04Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。