論文の概要: Convergence of Nonconvex PnP-ADMM with MMSE Denoisers

• arxiv url: http://arxiv.org/abs/2311.18810v1
• Date: Thu, 30 Nov 2023 18:52:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 15:11:45.062720
• Title: Convergence of Nonconvex PnP-ADMM with MMSE Denoisers
• Title（参考訳）: MMSEデノイザを用いた非凸PnP-ADMMの収束
• Authors: Chicago Park, Shirin Shoushtari, Weijie Gan, Ulugbek S. Kamilov
• Abstract要約: マルチプライヤのプラグ・アンド・プレイ交互方向法 (ADMM) は, 物理測定に広く用いられている。 しかし、そのことが観察されている。 ADMMはしばしば、拡張CNNに対しても経験的に収束する。
• 参考スコア（独自算出の注目度）: 8.034511587847158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Plug-and-Play Alternating Direction Method of Multipliers (PnP-ADMM) is a widely-used algorithm for solving inverse problems by integrating physical measurement models and convolutional neural network (CNN) priors. PnP-ADMM has been theoretically proven to converge for convex data-fidelity terms and nonexpansive CNNs. It has however been observed that PnP-ADMM often empirically converges even for expansive CNNs. This paper presents a theoretical explanation for the observed stability of PnP-ADMM based on the interpretation of the CNN prior as a minimum mean-squared error (MMSE) denoiser. Our explanation parallels a similar argument recently made for the iterative shrinkage/thresholding algorithm variant of PnP (PnP-ISTA) and relies on the connection between MMSE denoisers and proximal operators. We also numerically evaluate the performance gap between PnP-ADMM using a nonexpansive DnCNN denoiser and expansive DRUNet denoiser, thus motivating the use of expansive CNNs.
• Abstract（参考訳）: PnP-ADMM(Plug-and-Play Alternating Direction Method of Multipliers)は、物理測定モデルと畳み込みニューラルネットワーク(CNN)を組み込んだ逆問題の解法である。 PnP-ADMMは、凸データ忠実度項と非膨張CNNに収束することが理論的に証明されている。 しかしながら、PnP-ADMMは広範CNNにおいても経験的に収束することが観察されている。 本稿では、最小平均二乗誤差(MMSE)としてCNNの解釈に基づいて、PnP-ADMMの観測安定性を理論的に説明する。 我々の説明は、PnP (PnP-ISTA) の反復縮小/保持アルゴリズムに対する類似の議論と類似しており、MMSEデノイザと近位演算子間の接続に依存している。 また,拡張性DnCNNデノイザと拡張性DRUNetデノイザを用いてPnP-ADMMの性能ギャップを数値的に評価し,拡張性CNNの使用を動機付ける。

関連論文リスト

• ProPINN: Demystifying Propagation Failures in Physics-Informed Neural Networks [71.02216400133858]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法において高い期待を得た 以前の研究では、PINNの伝播不良現象が観察された。 本論文は,伝播不良とその根本原因について,初めて公式かつ詳細な研究を行ったものである。
  論文  参考訳（メタデータ） (2025-02-02T13:56:38Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Prior Mismatch and Adaptation in PnP-ADMM with a Nonconvex Convergence Analysis [20.63188897629508]
  Plug-and-Playは、逆イメージング問題を解決するために広く使われているファミリーメソッドである。 ディープ・メソッドは、前者が強力なデノイザを用いて得られるとき、最先端の性能を達成することが示されている。
  論文  参考訳（メタデータ） (2023-09-29T20:49:00Z)
• On the Contractivity of Plug-and-Play Operators [11.218821754886514]
  ノイズ・アンド・プレイの正規化では、ISTAやADMといったアルゴリズムの演算子をパワーラーに置き換える。 この形式的な置換は、実際は驚くほどうまく機能する。 実際は。 様々な画像応用の最先端の結果が示されている。
  論文  参考訳（メタデータ） (2023-09-28T23:58:02Z)
• Proximal denoiser for convergent plug-and-play optimization with nonconvex regularization [7.0226402509856225]
  Plug-and-Play ()メソッドは、ニューラルネットワーク演算子をデノナイジング演算子に置き換えることで、アルゴリズムによって、近位姿勢の逆問題を解決する。 このデノイザが実際に勾配関数に対応していることが示される。
  論文  参考訳（メタデータ） (2022-01-31T14:05:20Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Belief Propagation Neural Networks [103.97004780313105]
  信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。 挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
  論文  参考訳（メタデータ） (2020-07-01T07:39:51Z)
• P-ADMMiRNN: Training RNN with Stable Convergence via An Efficient and Paralleled ADMM Approach [17.603762011446843]
  リカレントニューラルネットワーク(RNN)を安定した収束で訓練することは困難であり、勾配の消滅や爆発的な問題を避けることは困難である。 この研究は、ADMMiRNNという新しいフレームワークをRNNの展開形式に基づいて構築し、上記の課題に同時に対処する。
  論文  参考訳（メタデータ） (2020-06-10T02:43:11Z)
• Scalable Plug-and-Play ADMM with Convergence Guarantees [24.957046830965822]
  広範に使われている変種を漸進的に提案する。 ADMMアルゴリズムにより、大規模データセットにスケーラブルになる。 理論的には,集合的明示的な仮定の下で収束アルゴリズムを解析する。
  論文  参考訳（メタデータ） (2020-06-05T04:10:15Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Q-GADMM: Quantized Group ADMM for Communication Efficient Decentralized Machine Learning [66.18202188565922]
  我々はQGADMM(QGADMM)という通信効率の高い分散機械学習(ML)アルゴリズムを提案する。 我々は,凸関数に対するQGADMMの収束性を証明しつつ,モデル化レベルとその確率を適応的に調整する新しい量子化法を開発した。
  論文  参考訳（メタデータ） (2019-10-23T10:47:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。