論文の概要: Normalization-Equivariant Neural Networks with Application to Image Denoising

• arxiv url: http://arxiv.org/abs/2306.05037v1
• Date: Thu, 8 Jun 2023 08:42:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 15:25:33.308787
• Title: Normalization-Equivariant Neural Networks with Application to Image Denoising
• Title（参考訳）: 正規化同変ニューラルネットワークと画像雑音化への応用
• Authors: S\'ebastien Herbreteau, Emmanuel Moebel and Charles Kervrann
• Abstract要約: 本稿では,ニューラルネットの正規化-等分散が設計によって成り立つように適応する手法を提案する。 私たちの主張は、通常の畳み込み層だけでなく、すべての活性化関数も、ニューラルネットワークから完全に取り除くべきだということです。 画像復号化実験の結果、正規化等価ニューラルネットワークは、条件付けの改善に加えて、ノイズレベルをまたいだより優れた一般化をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 2.922007656878633
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In many information processing systems, it may be desirable to ensure that any change of the input, whether by shifting or scaling, results in a corresponding change in the system response. While deep neural networks are gradually replacing all traditional automatic processing methods, they surprisingly do not guarantee such normalization-equivariance (scale + shift) property, which can be detrimental in many applications. To address this issue, we propose a methodology for adapting existing neural networks so that normalization-equivariance holds by design. Our main claim is that not only ordinary convolutional layers, but also all activation functions, including the ReLU (rectified linear unit), which are applied element-wise to the pre-activated neurons, should be completely removed from neural networks and replaced by better conditioned alternatives. To this end, we introduce affine-constrained convolutions and channel-wise sort pooling layers as surrogates and show that these two architectural modifications do preserve normalization-equivariance without loss of performance. Experimental results in image denoising show that normalization-equivariant neural networks, in addition to their better conditioning, also provide much better generalization across noise levels.
• Abstract（参考訳）: 多くの情報処理システムでは、入力の変化がシフトしたりスケールしたりすることで、対応するシステム応答が変化することを保証することが望ましい。 ディープニューラルネットワークは、従来の全ての自動処理方法を徐々に置き換えつつあるが、このような正規化等価性(スケール+シフト)は驚くほど保証されていない。 この問題に対処するために,既存のニューラルネットワークを設計による正規化等分散に適応させる手法を提案する。 我々の主張は、通常の畳み込み層だけでなく、前活性化ニューロンに要素的に適用されるReLU(rerectified linear unit)を含む全ての活性化関数も、ニューラルネットワークから完全に取り除かれ、より良い条件付き代替物に置き換えられるべきである、というものである。 この目的のために,アフィン拘束畳み込み畳み込みとチャネルワイズソートプール層をサロゲートとして導入し,これら2つのアーキテクチャ変更が性能を損なうことなく正規化等価性を維持していることを示す。 画像復調実験の結果、正規化等価ニューラルネットワークは、条件付けの改善に加えて、ノイズレベルをまたいだより優れた一般化をもたらすことが示された。

関連論文リスト

• Unsupervised Adaptive Normalization [0.07499722271664146]
  Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。 UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
  論文  参考訳（メタデータ） (2024-09-07T08:14:11Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Evolving Neural Selection with Adaptive Regularization [7.298440208725654]
  深部ニューラルネットワークにおけるニューロンの選択が進化し,予測の難しさに適応する手法を示す。 本稿では,階層内のニューロンを重み付けしてネットワークの変種を形成するために進化する適応型ニューラルセレクション(ANS)フレームワークを提案する。 実験の結果,提案手法はニューラルネットワークアーキテクチャの性能を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-04-04T17:19:52Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
  スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。 本研究では,スキップ接続の有効性におけるスケール要因について検討する。
  論文  参考訳（メタデータ） (2021-05-15T11:44:49Z)
• Truly shift-invariant convolutional neural networks [0.0]
  近年の研究では、CNNの出力は入力の小さなシフトで大きく変化することが示されている。 本稿では,適応型多相サンプリング(APS)を提案する。これは,畳み込みニューラルネットワークが,シフト下での分類性能において100%整合性を実現するための,単純なサブサンプリング手法である。
  論文  参考訳（メタデータ） (2020-11-28T20:57:35Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。