論文の概要: Training Implicit Networks for Image Deblurring using Jacobian-Free Backpropagation

• arxiv url: http://arxiv.org/abs/2402.02065v1
• Date: Sat, 3 Feb 2024 07:10:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:28:03.850673
• Title: Training Implicit Networks for Image Deblurring using Jacobian-Free Backpropagation
• Title（参考訳）: ヤコビアンフリーバックプロパゲーションを用いた画像劣化の訓練
• Authors: Linghai Liu, Shuaicheng Tong, Lisa Zhao
• Abstract要約: ヤコビアンフリーバックプロパゲーション (Jacobian-free Backproagation, JFB) は、画像劣化問題(英語版)の文脈でそのような計算を回避するバックプロパゲーションスキームである。 この結果から,JFBは最適化手法の微調整,SOTA(State-of-the-art)フィードフォワードネットワーク,既存の暗黙ネットワークに比較して計算コストを削減できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent efforts in applying implicit networks to solve inverse problems in imaging have achieved competitive or even superior results when compared to feedforward networks. These implicit networks only require constant memory during backpropagation, regardless of the number of layers. However, they are not necessarily easy to train. Gradient calculations are computationally expensive because they require backpropagating through a fixed point. In particular, this process requires solving a large linear system whose size is determined by the number of features in the fixed point iteration. This paper explores a recently proposed method, Jacobian-free Backpropagation (JFB), a backpropagation scheme that circumvents such calculation, in the context of image deblurring problems. Our results show that JFB is comparable against fine-tuned optimization schemes, state-of-the-art (SOTA) feedforward networks, and existing implicit networks at a reduced computational cost.
• Abstract（参考訳）: 近年,画像の逆問題に対する暗黙的ネットワークの適用は,フィードフォワードネットワークと比較して競争力や優位性を実現している。 これらの暗黙的ネットワークは、層数に関係なく、バックプロパゲーション中に一定のメモリしか必要としない。 しかし、訓練は必ずしも容易ではない。 勾配計算は不動点をバックプロパゲーションする必要があるため計算コストが高い。 特に、このプロセスでは、不動点反復のフィーチャの数によってサイズが決定される大きな線形システムを解く必要がある。 本稿では,この計算を回避したバックプロパゲーション手法であるJacobian-free Backproagation (JFB)を提案する。 以上の結果から, jfb は計算コストを低減し, 最適化手法, 最先端フィードフォワードネットワーク, 既存の暗黙的ネットワークに匹敵することを示した。

関連論文リスト

• Overcoming Distribution Mismatch in Quantizing Image Super-Resolution Networks [53.23803932357899]
  量子化は画像超解像(SR)ネットワークの精度を低下させる。 既存の作業は、テスト時間中に量子化範囲を動的に適応することで、この分散ミスマッチ問題に対処する。 本稿では,SRネットワークにおける分散ミスマッチ問題を効果的に克服する量子化対応学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-25T08:50:01Z)
• Untrained neural network embedded Fourier phase retrieval from few measurements [8.914156789222266]
  本稿では、FPRを少ない測定値で解くために、未学習のニューラルネットワーク埋め込みアルゴリズムを提案する。 再生する画像を表すために生成ネットワークを使用し、ネットワーク構造によって定義された空間に画像を閉じ込める。 未学習NNのパラメータ更新に起因した計算コストを削減するため,明示的正規化と暗黙的正規化を適応的に切り離す高速化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-07-16T16:23:50Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Image Superresolution using Scale-Recurrent Dense Network [30.75380029218373]
  畳み込みニューラルネットワーク(CNN)の設計の最近の進歩は、画像超解像(SR)の性能を大幅に向上させた。 残差ブロック内の一連の密接な接続を含む単位上に構築されたスケールリカレントSRアーキテクチャを提案する(Residual Dense Blocks (RDBs))。 我々のスケールリカレント設計は、現在の最先端のアプローチに比べてパラメトリックに効率的でありながら、より高いスケール要因の競合性能を提供する。
  論文  参考訳（メタデータ） (2022-01-28T09:18:43Z)
• DeepRLS: A Recurrent Network Architecture with Least Squares Implicit Layers for Non-blind Image Deconvolution [15.986942312624]
  非盲点画像デコンボリューションの問題について検討する。 本稿では,画像品質の非常に競争力のある復元結果をもたらす新しい再帰的ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-10T13:16:51Z)
• DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
  入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-16T20:43:49Z)
• Fixed Point Networks: Implicit Depth Models with Jacobian-Free Backprop [21.00060644438722]
  深層学習のトレンドは、ネットワーク深度が無限に近づくにつれて、限界の近似によって固定深度モデルを置き換える。 特に暗黙の深度モデルによるバックプロパゲーションは、暗黙の関数定理から生じるヤコブ方程式の解法を必要とする。 ネットワーク重みと入力データによって定義される固有の限界に前方伝播の収束を保証する固定点ネットワーク(FPN)を提案する。
  論文  参考訳（メタデータ） (2021-03-23T19:20:33Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。