論文の概要: Approximate Message Passing for Multi-Layer Estimation in Rotationally Invariant Models

• arxiv url: http://arxiv.org/abs/2212.01572v1
• Date: Sat, 3 Dec 2022 08:10:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 16:21:29.924283
• Title: Approximate Message Passing for Multi-Layer Estimation in Rotationally Invariant Models
• Title（参考訳）: 回転不変モデルにおける多層推定のための近似メッセージパッシング
• Authors: Yizhou Xu, TianQi Hou, ShanSuo Liang and Marco Mondelli
• Abstract要約: 我々は、AMPアルゴリズムのクラスを新たに提案し、状態の進化を再現する。 以上の結果から,この複雑性の増大はアルゴリズムの性能においてほとんど,あるいは全くコストがかからないことが示唆された。
• 参考スコア（独自算出の注目度）: 15.605031496980775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of reconstructing the signal and the hidden variables from observations coming from a multi-layer network with rotationally invariant weight matrices. The multi-layer structure models inference from deep generative priors, and the rotational invariance imposed on the weights generalizes the i.i.d.\ Gaussian assumption by allowing for a complex correlation structure, which is typical in applications. In this work, we present a new class of approximate message passing (AMP) algorithms and give a state evolution recursion which precisely characterizes their performance in the large system limit. In contrast with the existing multi-layer VAMP (ML-VAMP) approach, our proposed AMP -- dubbed multi-layer rotationally invariant generalized AMP (ML-RI-GAMP) -- provides a natural generalization beyond Gaussian designs, in the sense that it recovers the existing Gaussian AMP as a special case. Furthermore, ML-RI-GAMP exhibits a significantly lower complexity than ML-VAMP, as the computationally intensive singular value decomposition is replaced by an estimation of the moments of the design matrices. Finally, our numerical results show that this complexity gain comes at little to no cost in the performance of the algorithm.
• Abstract（参考訳）: 回転不変重み行列を持つ多層ネットワークからの観測から信号と隠れ変数を再構成する問題を考察する。 深層生成前駆から推定される多層構造モデルと、重みに課される回転不変性は、応用に典型的な複素相関構造を可能にすることによって、i.i.d.\ gaussian仮定を一般化する。 本稿では,新しい近似メッセージパッシング(amp)アルゴリズムのクラスを示し,その性能を大規模システム限界で正確に特徴付ける状態進化再帰を与える。 既存の多層VAMP (ML-VAMP) アプローチとは対照的に,提案するAMPは,ガウス的設計を超越した自然な一般化を実現し,ガウス的 AMP を特殊ケースとして回収する。 さらに、ML-RI-GAMPは、計算集約的な特異値分解が設計行列のモーメントの推定に置き換えられるため、ML-VAMPよりもかなり低い複雑性を示す。 最後に, 計算結果から, この複雑性の増大はアルゴリズムの性能にほとんどか全くかからないことがわかった。

関連論文リスト

• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Approximate Message Passing for the Matrix Tensor Product Model [8.206394018475708]
  本稿では,行列テンソル積モデルに対する近似メッセージパッシング(AMP)アルゴリズムの提案と解析を行う。 非可分関数に対する収束定理に基づいて、非可分関数に対する状態発展を証明する。 我々は、この状態進化結果を利用して、関心の信号の回復に必要な十分な条件を提供する。
  論文  参考訳（メタデータ） (2023-06-27T16:03:56Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Generalized Fast Multichannel Nonnegative Matrix Factorization Based on Gaussian Scale Mixtures for Blind Source Separation [3.141085922386211]
  本稿では,FastMNMFと呼ばれる多目的ブラインドソース分離手法のヘビーテール拡張について述べる。 インパルス変数の確率密度関数が解析式を持たない場合でも動作する予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-05-11T08:09:39Z)
• Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods [35.24886589614034]
  一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。 我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
  論文  参考訳（メタデータ） (2022-02-17T21:43:50Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Estimation in Rotationally Invariant Generalized Linear Models via Approximate Message Passing [21.871513580418604]
  本稿では,信号推定のための近接メッセージパッシング(AMP)アルゴリズムの新たなファミリーを提案する。 我々は、状態進化再帰を通じて高次元の限界におけるそれらの性能を厳格に特徴づける。
  論文  参考訳（メタデータ） (2021-12-08T15:20:04Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。