論文の概要: The Neural Tangent Link Between CNN Denoisers and Non-Local Filters

• arxiv url: http://arxiv.org/abs/2006.02379v4
• Date: Mon, 16 Nov 2020 23:06:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 18:37:34.685433
• Title: The Neural Tangent Link Between CNN Denoisers and Non-Local Filters
• Title（参考訳）: CNNデノイザと非局所フィルタのニューラルタンジェントリンク
• Authors: Juli\'an Tachella and Junqi Tang and Mike Davies
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は現在、計算画像問題を解決するための確立されたツールである。 ニューラルネットワークタンジェント(NTK)とよく知られた非局所フィルタリング技術によるネットワーク間の公式なリンクを導入する。 本研究は,広範囲な画像復号化実験により評価した。
• 参考スコア（独自算出の注目度）: 4.254099382808598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNNs) are now a well-established tool for solving computational imaging problems. Modern CNN-based algorithms obtain state-of-the-art performance in diverse image restoration problems. Furthermore, it has been recently shown that, despite being highly overparameterized, networks trained with a single corrupted image can still perform as well as fully trained networks. We introduce a formal link between such networks through their neural tangent kernel (NTK), and well-known non-local filtering techniques, such as non-local means or BM3D. The filtering function associated with a given network architecture can be obtained in closed form without need to train the network, being fully characterized by the random initialization of the network weights. While the NTK theory accurately predicts the filter associated with networks trained using standard gradient descent, our analysis shows that it falls short to explain the behaviour of networks trained using the popular Adam optimizer. The latter achieves a larger change of weights in hidden layers, adapting the non-local filtering function during training. We evaluate our findings via extensive image denoising experiments.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)は現在、計算画像問題を解決するための確立されたツールである。 現代のCNNベースのアルゴリズムは、様々な画像復元問題において最先端の性能を得る。 さらに、高度に過小評価されているにもかかわらず、単一の破損した画像で訓練されたネットワークは、完全に訓練されたネットワークと同様に機能することが最近示されている。 我々は,そのようなネットワーク間の形式的リンクとして,神経接核 (ntk) と非局所的手段やbm3dなどの非局所的フィルタリング技術を導入する。 与えられたネットワークアーキテクチャに関連するフィルタリング関数は、ネットワークのトレーニングを必要とせずにクローズド形式で得ることができ、ネットワーク重みのランダムな初期化によって完全に特徴付けられる。 NTK理論は、標準勾配降下法を用いてトレーニングされたネットワークに関連するフィルタを正確に予測するが、一般的なAdamオプティマイザを用いてトレーニングしたネットワークの動作を説明するには不十分であることを示す。 後者は、非局所フィルタリング機能をトレーニング中に適応させ、隠れた層における重みの変化を大きくする。 本研究は広範囲な画像復調実験により評価した。

関連論文リスト

• Training Convolutional Neural Networks with the Forward-Forward algorithm [1.74440662023704]
  Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。 FFパラダイムをCNNに拡張する方法を示す。 我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
  論文  参考訳（メタデータ） (2023-12-22T18:56:35Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization [1.3999481573773072]
  ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。 損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
  論文  参考訳（メタデータ） (2022-08-01T20:31:58Z)
• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• Gabor is Enough: Interpretable Deep Denoising with a Gabor Synthesis Dictionary Prior [6.297103076360578]
  ガバーライクなフィルタはCNN分類器の初期層や低レベルの画像処理ネットワークで観測されている。 本研究では,自然像のCNNのフィルタを2次元実ガボルフィルタで学習するために,この観察を極端かつ明示的に制限する。 提案したネットワーク(GDLNet)は,一般的な完全畳み込みニューラルネットワークにおいて,最先端のデノゲーション性能を実現することができる。
  論文  参考訳（メタデータ） (2022-04-23T22:21:54Z)
• Background Invariant Classification on Infrared Imagery by Data Efficient Training and Reducing Bias in CNNs [1.2891210250935146]
  畳み込みニューラルネットワークは 画像中の物体を 正確に分類できます ネットワークの注意が常にシーンのセマンティックな重要な領域にあるとは限らないことはよく知られている。 我々は、赤外線画像とRGBデータの両方におけるCNNのバイアスを低減するために、textitsplit trainingと呼ばれる2段階のトレーニング手順を提案する。
  論文  参考訳（メタデータ） (2022-01-22T23:29:42Z)
• Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study [0.0]
  我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。 このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。 ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
  論文  参考訳（メタデータ） (2021-05-29T15:28:30Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。