論文の概要: Normalized Convolutional Neural Network

• arxiv url: http://arxiv.org/abs/2005.05274v4
• Date: Wed, 02 Apr 2025 08:53:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-06 15:40:59.949094
• Title: Normalized Convolutional Neural Network
• Title（参考訳）: 正規化畳み込みニューラルネットワーク
• Authors: Dongsuk Kim, Geonhee Lee, Myungjae Lee, Shin Uk Kang, Dongmin Kim,
• Abstract要約: 我々は、畳み込みネットワークにおける正規化の新しいアプローチである正規化畳み込みニューラルネットワーク層を導入する。 この層は、畳み込み中にim2col行列の行を正規化し、スライスされた入力に本質的に適応し、カーネル構造との整合性が向上する。
• 参考スコア（独自算出の注目度）: 3.9686028140278897
• License:
• Abstract: We introduce a Normalized Convolutional Neural Layer, a novel approach to normalization in convolutional networks. Unlike conventional methods, this layer normalizes the rows of the im2col matrix during convolution, making it inherently adaptive to sliced inputs and better aligned with kernel structures. This distinctive approach differentiates it from standard normalization techniques and prevents direct integration into existing deep learning frameworks optimized for traditional convolution operations. Our method has a universal property, making it applicable to any deep learning task involving convolutional layers. By inherently normalizing within the convolution process, it serves as a convolutional adaptation of Self-Normalizing Networks, maintaining their core principles without requiring additional normalization layers. Notably, in micro-batch training scenarios, it consistently outperforms other batch-independent normalization methods. This performance boost arises from standardizing the rows of the im2col matrix, which theoretically leads to a smoother loss gradient and improved training stability.
• Abstract（参考訳）: 我々は、畳み込みネットワークにおける正規化の新しいアプローチである正規化畳み込みニューラルネットワーク層を導入する。 従来の方法とは異なり、このレイヤは畳み込み中にim2col行列の行を正規化し、スライスされた入力に固有の適応とカーネル構造との整合性を向上する。 この独特なアプローチは、標準的な正規化テクニックと区別し、従来の畳み込み操作に最適化された既存のディープラーニングフレームワークへの直接統合を防止する。 提案手法は,畳み込み層を含むどんな深層学習にも適用可能である。 本質的には、畳み込みプロセス内で正規化することにより、それは自己正規化ネットワークの畳み込み適応として機能し、追加の正規化レイヤを必要とせずにコア原則を維持します。 特に、マイクロバッチトレーニングシナリオでは、バッチ非依存の正規化メソッドを一貫して上回る。 この性能向上は、理論上よりスムーズな損失勾配とトレーニング安定性の向上をもたらすイム2col行列の行の標準化から生じる。

関連論文リスト

• Kernel vs. Kernel: Exploring How the Data Structure Affects Neural Collapse [9.975341265604577]
  ニューラル・コラプス(Neural Collapse)とは、NC1と呼ばれるネットワークの最も深い機能のクラス内での多様性の低下である。 この制限に悩まされないカーネルベースの分析を提供する。 NTKは、原型データモデルに対するNNGPよりも崩壊した特徴を表現していないことを示す。
  論文  参考訳（メタデータ） (2024-06-04T08:33:56Z)
• Optimal ANN-SNN Conversion with Group Neurons [39.14228133571838]
  スパイキングニューラルネットワーク(SNN)は、有望な第3世代のニューラルネットワークとして登場した。 効果的な学習アルゴリズムの欠如は、SNNにとって依然として課題である。 我々はグループニューロン(GN)と呼ばれる新しいタイプのニューロンを紹介する。
  論文  参考訳（メタデータ） (2024-02-29T11:41:12Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• Batch Layer Normalization, A new normalization layer for CNNs and RNN [0.0]
  本研究では, Batch Layer Normalization (BLN) と呼ばれる新しい正規化層を導入する。 バッチとレイヤの正規化の組み合わせとして、BLNはミニバッチの逆サイズに基づいて、最小バッチと特徴正規化を適切に重み付けする。 実験結果は,畳み込みニューラルネットワークと反復ニューラルネットワークの両方におけるBLNの適用ポテンシャルと,バッチ正規化および層正規化よりも高速な収束性を示す。
  論文  参考訳（メタデータ） (2022-09-19T10:12:51Z)
• Empowering GNNs via Edge-Aware Weisfeiler-Leman Algorithm [79.68451803954751]
  メッセージパッシンググラフニューラルネットワーク(GNN)は1次元Weisfeiler-Leman (1-WL)アルゴリズムによって上界表現性を持つことが知られている。 本稿では,メッセージパッシング方式のスケーラビリティを保った汎用かつ実証可能なGNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-04T21:37:59Z)
• A Unified Weight Initialization Paradigm for Tensorial Convolutional Neural Networks [17.71332705005499]
  畳み込みニューラルネットワーク(TCNN)は、モデルパラメータの削減や能力向上に力を入れている。 TCNNの探索は、重量浄化法でも妨げられる。 本稿では,Xavier と Kaiming の手法を一般化し,任意の TCNN に適用可能なユニバーサルウェイトクリーンアップパラダイムを提案する。 我々のパラダイムはTCNNのトレーニングを安定させ、より高速な収束とより良い結果をもたらす。
  論文  参考訳（メタデータ） (2022-05-28T13:31:24Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
  精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
  論文  参考訳（メタデータ） (2021-09-20T20:17:40Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。