論文の概要: Convergence of Nonconvex PnP-ADMM with MMSE Denoisers

• arxiv url: http://arxiv.org/abs/2311.18810v1
• Date: Thu, 30 Nov 2023 18:52:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 15:11:45.062720
• Title: Convergence of Nonconvex PnP-ADMM with MMSE Denoisers
• Title（参考訳）: MMSEデノイザを用いた非凸PnP-ADMMの収束
• Authors: Chicago Park, Shirin Shoushtari, Weijie Gan, Ulugbek S. Kamilov
• Abstract要約: マルチプライヤのプラグ・アンド・プレイ交互方向法 (ADMM) は, 物理測定に広く用いられている。 しかし、そのことが観察されている。 ADMMはしばしば、拡張CNNに対しても経験的に収束する。
• 参考スコア（独自算出の注目度）: 8.034511587847158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Plug-and-Play Alternating Direction Method of Multipliers (PnP-ADMM) is a widely-used algorithm for solving inverse problems by integrating physical measurement models and convolutional neural network (CNN) priors. PnP-ADMM has been theoretically proven to converge for convex data-fidelity terms and nonexpansive CNNs. It has however been observed that PnP-ADMM often empirically converges even for expansive CNNs. This paper presents a theoretical explanation for the observed stability of PnP-ADMM based on the interpretation of the CNN prior as a minimum mean-squared error (MMSE) denoiser. Our explanation parallels a similar argument recently made for the iterative shrinkage/thresholding algorithm variant of PnP (PnP-ISTA) and relies on the connection between MMSE denoisers and proximal operators. We also numerically evaluate the performance gap between PnP-ADMM using a nonexpansive DnCNN denoiser and expansive DRUNet denoiser, thus motivating the use of expansive CNNs.
• Abstract（参考訳）: PnP-ADMM(Plug-and-Play Alternating Direction Method of Multipliers)は、物理測定モデルと畳み込みニューラルネットワーク(CNN)を組み込んだ逆問題の解法である。 PnP-ADMMは、凸データ忠実度項と非膨張CNNに収束することが理論的に証明されている。 しかしながら、PnP-ADMMは広範CNNにおいても経験的に収束することが観察されている。 本稿では、最小平均二乗誤差(MMSE)としてCNNの解釈に基づいて、PnP-ADMMの観測安定性を理論的に説明する。 我々の説明は、PnP (PnP-ISTA) の反復縮小/保持アルゴリズムに対する類似の議論と類似しており、MMSEデノイザと近位演算子間の接続に依存している。 また,拡張性DnCNNデノイザと拡張性DRUNetデノイザを用いてPnP-ADMMの性能ギャップを数値的に評価し,拡張性CNNの使用を動機付ける。

関連論文リスト

• Prior Mismatch and Adaptation in PnP-ADMM with a Nonconvex Convergence Analysis [20.63188897629508]
  Plug-and-Playは、逆イメージング問題を解決するために広く使われているファミリーメソッドである。 ディープ・メソッドは、前者が強力なデノイザを用いて得られるとき、最先端の性能を達成することが示されている。
  論文  参考訳（メタデータ） (2023-09-29T20:49:00Z)
• On the Contractivity of Plug-and-Play Operators [11.218821754886514]
  ノイズ・アンド・プレイの正規化では、ISTAやADMといったアルゴリズムの演算子をパワーラーに置き換える。 この形式的な置換は、実際は驚くほどうまく機能する。 実際は。 様々な画像応用の最先端の結果が示されている。
  論文  参考訳（メタデータ） (2023-09-28T23:58:02Z)
• Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
  現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。 本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
  論文  参考訳（メタデータ） (2022-09-17T17:02:35Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Proximal denoiser for convergent plug-and-play optimization with nonconvex regularization [7.0226402509856225]
  Plug-and-Play ()メソッドは、ニューラルネットワーク演算子をデノナイジング演算子に置き換えることで、アルゴリズムによって、近位姿勢の逆問題を解決する。 このデノイザが実際に勾配関数に対応していることが示される。
  論文  参考訳（メタデータ） (2022-01-31T14:05:20Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Belief Propagation Neural Networks [103.97004780313105]
  信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。 挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
  論文  参考訳（メタデータ） (2020-07-01T07:39:51Z)
• P-ADMMiRNN: Training RNN with Stable Convergence via An Efficient and Paralleled ADMM Approach [17.603762011446843]
  リカレントニューラルネットワーク(RNN)を安定した収束で訓練することは困難であり、勾配の消滅や爆発的な問題を避けることは困難である。 この研究は、ADMMiRNNという新しいフレームワークをRNNの展開形式に基づいて構築し、上記の課題に同時に対処する。
  論文  参考訳（メタデータ） (2020-06-10T02:43:11Z)
• Scalable Plug-and-Play ADMM with Convergence Guarantees [24.957046830965822]
  広範に使われている変種を漸進的に提案する。 ADMMアルゴリズムにより、大規模データセットにスケーラブルになる。 理論的には,集合的明示的な仮定の下で収束アルゴリズムを解析する。
  論文  参考訳（メタデータ） (2020-06-05T04:10:15Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。