論文の概要: Normalized Convolutional Neural Network

• arxiv url: http://arxiv.org/abs/2005.05274v3
• Date: Mon, 18 May 2020 10:19:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 20:27:55.456511
• Title: Normalized Convolutional Neural Network
• Title（参考訳）: 正規化畳み込みニューラルネットワーク
• Authors: Dongsuk Kim and Geonhee Lee and Myungjae Lee and Shin Uk Kang and Dongmin Kim
• Abstract要約: 本稿では,正規化畳み込みニューラルネットワークを提案する。 NCNNは、他のノマリザイトン法よりも畳み込み作用素に適合している。 NCNNはマイクロバッチトレーニングをターゲットにすることができる。
• 参考スコア（独自算出の注目度）: 1.3049516752695614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose Normalized Convolutional Neural Network(NCNN). NCNN is more fitted to a convolutional operator than other nomralizaiton methods. The normalized process is similar to a normalization methods, but NCNN is more adapative to sliced-inputs and corresponding the convolutional kernel. Therefor NCNN can be targeted to micro-batch training. Normalizaing of NC is conducted during convolutional process. In short, NC process is not usual normalization and can not be realized in deep learning framework optimizing standard convolution process. Hence we named this method 'Normalized Convolution'. As a result, NC process has universal property which means NC can be applied to any AI tasks involving convolution neural layer . Since NC don't need other normalization layer, NCNN looks like convolutional version of Self Normalizing Network.(SNN). Among micro-batch trainings, NCNN outperforms other batch-independent normalization methods. NCNN archives these superiority by standardizing rows of im2col matrix of inputs, which theoretically smooths the gradient of loss. The code need to manipulate standard convolution neural networks step by step. The code is available : https://github.com/kimdongsuk1/ NormalizedCNN.
• Abstract（参考訳）: 本稿では,正規化畳み込みニューラルネットワーク(NCNN)を提案する。 NCNNは他のノマリザイトン法よりも畳み込み作用素に適合している。 正規化プロセスは正規化手法に似ているが、NCNNはスライスインプットに適応し、畳み込みカーネルに対応する。 NCNNはマイクロバッチトレーニングをターゲットにすることができる。 ncの正常化は畳み込みの過程で行われる。 要するに、NCプロセスは通常の正規化ではなく、標準畳み込みプロセスを最適化するディープラーニングフレームワークでは実現できない。 そこで我々はこの手法を「Normalized Convolution」と名付けた。 その結果、ncプロセスは、畳み込みニューラルネットワーク層を含む任意のaiタスクにncを適用できる普遍的特性を有する。 NCNNは他の正規化レイヤを必要としないため、NCNNは自己正規化ネットワークの畳み込み版に見えます。 (SNN)。 マイクロバッチトレーニングでは、ncnnは他のバッチ独立正規化法よりも優れている。 ncnnは入力のim2col行列の行を標準化することでこれらの優位性をアーカイブし、理論的に損失の勾配を滑らかにする。 コードは、標準畳み込みニューラルネットワークを段階的に操作する必要がある。 コードはhttps://github.com/kimdongsuk1/ normalizedcnn。

関連論文リスト

• Kernel vs. Kernel: Exploring How the Data Structure Affects Neural Collapse [9.975341265604577]
  ニューラル・コラプス(Neural Collapse)とは、NC1と呼ばれるネットワークの最も深い機能のクラス内での多様性の低下である。 この制限に悩まされないカーネルベースの分析を提供する。 NTKは、原型データモデルに対するNNGPよりも崩壊した特徴を表現していないことを示す。
  論文  参考訳（メタデータ） (2024-06-04T08:33:56Z)
• Optimal ANN-SNN Conversion with Group Neurons [39.14228133571838]
  スパイキングニューラルネットワーク(SNN)は、有望な第3世代のニューラルネットワークとして登場した。 効果的な学習アルゴリズムの欠如は、SNNにとって依然として課題である。 我々はグループニューロン(GN)と呼ばれる新しいタイプのニューロンを紹介する。
  論文  参考訳（メタデータ） (2024-02-29T11:41:12Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• Batch Layer Normalization, A new normalization layer for CNNs and RNN [0.0]
  本研究では, Batch Layer Normalization (BLN) と呼ばれる新しい正規化層を導入する。 バッチとレイヤの正規化の組み合わせとして、BLNはミニバッチの逆サイズに基づいて、最小バッチと特徴正規化を適切に重み付けする。 実験結果は,畳み込みニューラルネットワークと反復ニューラルネットワークの両方におけるBLNの適用ポテンシャルと,バッチ正規化および層正規化よりも高速な収束性を示す。
  論文  参考訳（メタデータ） (2022-09-19T10:12:51Z)
• Empowering GNNs via Edge-Aware Weisfeiler-Leman Algorithm [79.68451803954751]
  メッセージパッシンググラフニューラルネットワーク(GNN)は1次元Weisfeiler-Leman (1-WL)アルゴリズムによって上界表現性を持つことが知られている。 本稿では,メッセージパッシング方式のスケーラビリティを保った汎用かつ実証可能なGNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-04T21:37:59Z)
• A Unified Weight Initialization Paradigm for Tensorial Convolutional Neural Networks [17.71332705005499]
  畳み込みニューラルネットワーク(TCNN)は、モデルパラメータの削減や能力向上に力を入れている。 TCNNの探索は、重量浄化法でも妨げられる。 本稿では,Xavier と Kaiming の手法を一般化し,任意の TCNN に適用可能なユニバーサルウェイトクリーンアップパラダイムを提案する。 我々のパラダイムはTCNNのトレーニングを安定させ、より高速な収束とより良い結果をもたらす。
  論文  参考訳（メタデータ） (2022-05-28T13:31:24Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
  精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
  論文  参考訳（メタデータ） (2021-09-20T20:17:40Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。