論文の概要: Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training

• arxiv url: http://arxiv.org/abs/2103.00673v1
• Date: Mon, 1 Mar 2021 00:33:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-06 03:43:15.386192
• Title: Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training
• Title（参考訳）: 畳み込み正規化:深層畳み込みネットワークロバストネスとトレーニングの改善
• Authors: Sheng Liu, Xiao Li, Yuexiang Zhai, Chong You, Zhihui Zhu, Carlos Fernandez-Granda, and Qing Qu
• Abstract要約: 現代畳み込みニューラルネットワーク(convnets)では正規化技術が基本成分となっている フーリエ領域における畳み込み構造を完全に活用できるシンプルで効率的な畳み込み正規化法を導入する。 畳み込み正規化は、重み行列の層単位でのスペクトルノルムを減少させ、ネットワークのリプシッツ性を改善することができることを示す。
• 参考スコア（独自算出の注目度）: 44.66478612082257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalization techniques have become a basic component in modern convolutional neural networks (ConvNets). In particular, many recent works demonstrate that promoting the orthogonality of the weights helps train deep models and improve robustness. For ConvNets, most existing methods are based on penalizing or normalizing weight matrices derived from concatenating or flattening the convolutional kernels. These methods often destroy or ignore the benign convolutional structure of the kernels; therefore, they are often expensive or impractical for deep ConvNets. In contrast, we introduce a simple and efficient ``convolutional normalization'' method that can fully exploit the convolutional structure in the Fourier domain and serve as a simple plug-and-play module to be conveniently incorporated into any ConvNets. Our method is inspired by recent work on preconditioning methods for convolutional sparse coding and can effectively promote each layer's channel-wise isometry. Furthermore, we show that convolutional normalization can reduce the layerwise spectral norm of the weight matrices and hence improve the Lipschitzness of the network, leading to easier training and improved robustness for deep ConvNets. Applied to classification under noise corruptions and generative adversarial network (GAN), we show that convolutional normalization improves the robustness of common ConvNets such as ResNet and the performance of GAN. We verify our findings via extensive numerical experiments on CIFAR-10, CIFAR-100, and ImageNet.
• Abstract（参考訳）: 正規化技術は、現代の畳み込みニューラルネットワーク(ConvNets)の基本コンポーネントとなっている。 特に、多くの最近の研究は、重みの直交性を促進することが深いモデルを訓練し、堅牢性を向上させることを示しています。 ConvNetsでは、ほとんどの既存の手法は畳み込みカーネルの連結や平ら化に由来する重み行列のペナル化や正規化に基づいている。 これらの方法はしばしばカーネルの良性畳み込み構造を破壊したり無視したりする。 対照的に、フーリエ領域の畳み込み構造を十分に活用し、任意のconvnetに便利に組み込むための単純なプラグ・アンド・プレイモジュールとして機能する、単純で効率的な `convolutional normalization'' メソッドを導入する。 提案手法は,畳み込みスパース符号の事前条件付け手法に着想を得ており,各層のチャネルワイドアイソメトリを効果的に促進することができる。 さらに,畳み込み正規化により重み行列の層状スペクトルノルムが減少し,ネットワークのリプシッツ性が向上し,トレーニングが容易になり,ディープコンブネットのロバスト性が向上することを示した。 ノイズ汚損とGAN(Generative Adversarial Network)の分類に応用し,畳み込み正規化はResNetなどの一般的なConvNetの堅牢性とGANの性能を向上させることを示す。 本研究では,CIFAR-10,CIFAR-100,ImageNetの広範な数値実験を行った。

関連論文リスト

• A foundation for exact binarized morphological neural networks [2.8925699537310137]
  ディープニューラルネットワーク(NN)のトレーニングと実行は、多くの計算とエネルギー集約的な特別なハードウェアを必要とすることが多い。 計算量と消費電力を減らす方法の1つは二重NNを使うことであるが、これは符号関数が非滑らかな勾配を持つため訓練が困難である。 本研究では,特定の条件下での性能を損なうことなく,ConvNetを二項化できる数学的形態(MM)に基づくモデルを提案する。
  論文  参考訳（メタデータ） (2024-01-08T11:37:44Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Adaptive Convolution Kernel for Artificial Neural Networks [0.0]
  本稿では,1層に異なる大きさのカーネルを提供するために,畳み込みカーネルのサイズを訓練する方法について述べる。 実験では、提案した適応層を単純な2層ネットワークの通常の畳み込み層と比較した。 オックスフォード・ペッツデータセットのセグメンテーション実験では、U字型ネットワーク内の1つの通常の畳み込み層を1つの7$times$7適応層に置き換えることで、学習性能と一般化能力が向上することを示した。
  論文  参考訳（メタデータ） (2020-09-14T12:36:50Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm [5.3791844634527495]
  ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。 近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。 フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
  論文  参考訳（メタデータ） (2020-07-20T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。