論文の概要: A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers

• arxiv url: http://arxiv.org/abs/2408.08742v1
• Date: Fri, 16 Aug 2024 13:41:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:24:50.761076
• Title: A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers
• Title（参考訳）: 開放型近位ニューラルネットワークガウスデノイザーのトレーニングのためのリフトト・ブレグマン戦略
• Authors: Xiaoyu Wang, Martin Benning, Audrey Repetti,
• Abstract要約: 屈曲した近位ニューラルネットワーク(PNN)は、深層学習と近位最適化のアプローチを組み合わせた一連の手法である。 展開されたPNNに対するBregman距離に基づく揚力トレーニングの定式化を提案する。 画像復調の数値シミュレーションにより,提案したPNNのトレーニング手法の挙動を評価する。
• 参考スコア（独自算出の注目度）: 8.343594411714934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unfolded proximal neural networks (PNNs) form a family of methods that combines deep learning and proximal optimization approaches. They consist in designing a neural network for a specific task by unrolling a proximal algorithm for a fixed number of iterations, where linearities can be learned from prior training procedure. PNNs have shown to be more robust than traditional deep learning approaches while reaching at least as good performances, in particular in computational imaging. However, training PNNs still depends on the efficiency of available training algorithms. In this work, we propose a lifted training formulation based on Bregman distances for unfolded PNNs. Leveraging the deterministic mini-batch block-coordinate forward-backward method, we design a bespoke computational strategy beyond traditional back-propagation methods for solving the resulting learning problem efficiently. We assess the behaviour of the proposed training approach for PNNs through numerical simulations on image denoising, considering a denoising PNN whose structure is based on dual proximal-gradient iterations.
• Abstract（参考訳）: 屈曲した近位ニューラルネットワーク(PNN)は、深層学習と近位最適化のアプローチを組み合わせた一連の手法である。 それらは、特定のタスクのためのニューラルネットワークを設計し、一定の回数の反復に対して近位アルゴリズムをアンロールすることで、事前のトレーニング手順から線形性を学ぶことができる。 PNNは、特に計算画像において、従来のディープラーニングアプローチよりも堅牢でありながら、少なくとも優れたパフォーマンスを達成している。 しかしながら、PNNのトレーニングは、利用可能なトレーニングアルゴリズムの効率に依存する。 本研究では,展開したPNNに対するBregman距離に基づく揚力トレーニングの定式化を提案する。 決定論的ミニバッチ・ブロック・コーディネート・フォワード・バックワード法を応用し,従来のバックプロパゲーション法を超越して,学習問題の解法を効率的に設計する。 本稿では,2つの近位次反復に基づくPNNの構成を考慮し,画像復調に関する数値シミュレーションによるPNNのトレーニング手法の挙動を評価する。

関連論文リスト

• Unfolded proximal neural networks for robust image Gaussian denoising [7.018591019975253]
  本稿では,二元FBと二元Chambolle-Pockアルゴリズムの両方に基づいて,ガウス分母タスクのためのPNNを統一的に構築するフレームワークを提案する。 また、これらのアルゴリズムの高速化により、関連するNN層におけるスキップ接続が可能であることを示す。
  論文  参考訳（メタデータ） (2023-08-06T15:32:16Z)
• BNN-DP: Robustness Certification of Bayesian Neural Networks via Dynamic Programming [8.162867143465382]
  ベイジアンニューラルネットワークの対向ロバスト性解析のための効率的なフレームワークであるBNN-DPを紹介する。 BNN-DPは, 境界の厳密性と計算効率の両面において, 最先端の手法を最大4桁上回る性能を示した。
  論文  参考訳（メタデータ） (2023-06-19T07:19:15Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• AdaSTE: An Adaptive Straight-Through Estimator to Train Binary Neural Networks [34.263013539187355]
  重み付きディープニューラルネットワーク(DNN)を学習するための新しいアルゴリズムを提案する。 実験により,本アルゴリズムは既存手法と比較して良好な性能を示した。
  論文  参考訳（メタデータ） (2021-12-06T09:12:15Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Training Binary Neural Networks using the Bayesian Learning Rule [19.01146578435531]
  二分重のニューラルネットワークは計算効率が良く、ハードウェアに優しいが、そのトレーニングには離散的な最適化の問題が伴うため、難しい。 本稿では、既存のアプローチを正当化し、拡張するバイナリニューラルネットワークをトレーニングするための原則的アプローチを提案する。 私たちの研究は、既存のアプローチを正当化し拡張するバイナリニューラルネットワークをトレーニングするための原則化されたアプローチを提供します。
  論文  参考訳（メタデータ） (2020-02-25T10:20:10Z)
• DDPNOpt: Differential Dynamic Programming Neural Optimizer [29.82841891919951]
  トレーニングのための最も広く使われているアルゴリズムは、差分動的プログラミング(DDP)とリンク可能であることを示す。 本稿では,フィードフォワードと畳み込みネットワークをトレーニングするためのDDPOptの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。