論文の概要: Async-RED: A Provably Convergent Asynchronous Block Parallel Stochastic Method using Deep Denoising Priors

• arxiv url: http://arxiv.org/abs/2010.01446v1
• Date: Sat, 3 Oct 2020 23:55:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 11:36:54.107347
• Title: Async-RED: A Provably Convergent Asynchronous Block Parallel Stochastic Method using Deep Denoising Priors
• Title（参考訳）: Async-RED:Deep Denoising Priorsを用いた,おそらく収束した非同期ブロック並列確率法
• Authors: Yu Sun, Jiaming Liu, Yiran Sun, Brendt Wohlberg, Ulugbek S. Kamilov
• Abstract要約: Denoising (RED) による正規化は、画像の先行として高度な denoiser を統合することで、逆問題を解決するための最近開発されたフレームワークである。 本稿では,非同期並列処理を実現する非同期RED(ASYNC-RED)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 31.773305606551197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization by denoising (RED) is a recently developed framework for solving inverse problems by integrating advanced denoisers as image priors. Recent work has shown its state-of-the-art performance when combined with pre-trained deep denoisers. However, current RED algorithms are inadequate for parallel processing on multicore systems. We address this issue by proposing a new asynchronous RED (ASYNC-RED) algorithm that enables asynchronous parallel processing of data, making it significantly faster than its serial counterparts for large-scale inverse problems. The computational complexity of ASYNC-RED is further reduced by using a random subset of measurements at every iteration. We present complete theoretical analysis of the algorithm by establishing its convergence under explicit assumptions on the data-fidelity and the denoiser. We validate ASYNC-RED on image recovery using pre-trained deep denoisers as priors.
• Abstract（参考訳）: Denoising (RED) による正規化は、画像の先行として高度な denoiser を統合することで、逆問題を解決するための最近開発されたフレームワークである。 最近の研究は、事前訓練されたディープデノイザーと組み合わせることで、最先端の性能を示している。 しかし、現在のREDアルゴリズムはマルチコアシステムでの並列処理には不十分である。 本稿では,データの非同期並列処理を可能にする新しい非同期RED(ASYNC-RED)アルゴリズムを提案することでこの問題に対処する。 ASYNC-REDの計算複雑性は、各イテレーションにおける測定のランダムなサブセットを使用することにより、さらに減少する。 本研究では,データ忠実性とデノイザーに対する明示的な仮定の下での収束性を確立することにより,アルゴリズムの完全理論的解析を行う。 我々は,事前訓練したディープデノイザを先行として,画像回復におけるASYNC-REDの有効性を検証した。

関連論文リスト

• Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates [1.9241821314180372]
  バックプロパゲーションの大きな欠点の1つは、アルゴリズムの前方フェーズと後方フェーズの間のインターロックである。 本稿では,複数のスレッドから非同期に更新することで,モデルのレイヤ間でSGD更新を並列化する手法を提案する。 このアプローチは、Hongwild!よりも最大2.97倍高速で複数のデバイスでスケールしながら、最先端の結果に近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-08T12:32:36Z)
• Plug-and-Play image restoration with Stochastic deNOising REgularization [8.678250057211368]
  SNORE(Denoising Regularization)と呼ばれる新しいフレームワークを提案する。 SNOREは、適切なレベルのノイズのある画像のみにデノイザを適用する。 これは明示的な正則化に基づいており、逆問題を解決するための降下につながる。
  論文  参考訳（メタデータ） (2024-02-01T18:05:47Z)
• Towards Understanding the Generalizability of Delayed Stochastic Gradient Descent [63.43247232708004]
  非同期で実行される勾配降下は、大規模機械学習モデルのトレーニングにおいて重要な役割を果たす。 既存の一般化誤差境界は悲観的であり、非同期遅延と一般化の相関を明らかにすることはできない。 我々の理論的結果は、非同期遅延は遅延SGDアルゴリズムの一般化誤差を低減することを示唆している。
  論文  参考訳（メタデータ） (2023-08-18T10:00:27Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Monotonically Convergent Regularization by Denoising [19.631197002314305]
  デノナイズ(RED)による正規化は、画像のデノナイザを画像先行として活用することで、逆問題を解決するための広く使われているフレームワークである。 最近の研究は、事前訓練されたディープニューラルネットをデノイザーとして使用した多くのイメージングアプリケーションにおいて、REDの最先端性能を報告している。 この研究は、ディープ・デノゲーションの非拡張性を必要としない新しいモノトーンRED(MRED)アルゴリズムを開発することでこの問題に対処する。
  論文  参考訳（メタデータ） (2022-02-10T11:32:41Z)
• An Interpretation of Regularization by Denoising and its Application with the Back-Projected Fidelity Term [55.34375605313277]
  RED勾配は以前の関数の(部分)階調と見なすことができるが、その点の分極バージョンで考えることができる。 本稿では, RED と Back-Projection (BP) のフィデリティ項を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2021-01-27T18:45:35Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• PSO-PS: Parameter Synchronization with Particle Swarm Optimization for Distributed Training of Deep Neural Networks [16.35607080388805]
  我々はディープニューラルネットワーク(DNN)の分散トレーニングプロセスにParticle Swarm Optimizationを統合する新しいアルゴリズムを提案する。 提案アルゴリズムでは,粒子によって計算処理を符号化し,DNNの重みとトレーニング損失を粒子特性によってモデル化する。 各同期段階では、重みや勾配を平均化する代わりに、すべての労働者から集められたサブウェイトからPSOによって重みが更新される。
  論文  参考訳（メタデータ） (2020-09-06T05:18:32Z)
• Regularization by Denoising via Fixed-Point Projection (RED-PRO) [34.89374374708481]
  画像処理では、Denoising (RED) と Plug-and-Play Prior (RED) による正規化が使用される。 どちらも様々な回復作業における最先端の結果を示しているが、理論上の正当化は不完全である。
  論文  参考訳（メタデータ） (2020-08-01T09:35:22Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。