論文の概要: On the Nonlinearity of Layer Normalization

• arxiv url: http://arxiv.org/abs/2406.01255v1
• Date: Mon, 3 Jun 2024 12:11:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 01:09:07.034820
• Title: On the Nonlinearity of Layer Normalization
• Title（参考訳）: 層正規化の非線形性について
• Authors: Yunhao Ni, Yuxin Guo, Junlong Jia, Lei Huang,
• Abstract要約: 本稿では,LN-Netと呼ばれる線形およびLN変換を階層的に構成したネットワークの表現能力について検討する。 各層に3つのニューロンしか持たないLN-Netと$O(m)$ LN層が正しく分類できることを示す。
• 参考スコア（独自算出の注目度）: 5.0464797863553414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Layer normalization (LN) is a ubiquitous technique in deep learning but our theoretical understanding to it remains elusive. This paper investigates a new theoretical direction for LN, regarding to its nonlinearity and representation capacity. We investigate the representation capacity of a network with layerwise composition of linear and LN transformations, referred to as LN-Net. We theoretically show that, given $m$ samples with any label assignment, an LN-Net with only 3 neurons in each layer and $O(m)$ LN layers can correctly classify them. We further show the lower bound of the VC dimension of an LN-Net. The nonlinearity of LN can be amplified by group partition, which is also theoretically demonstrated with mild assumption and empirically supported by our experiments. Based on our analyses, we consider to design neural architecture by exploiting and amplifying the nonlinearity of LN, and the effectiveness is supported by our experiments.
• Abstract（参考訳）: 層正規化 (Layer normalization, LN) はディープラーニングにおけるユビキタスな手法であるが, 我々の理論的理解はいまだ解明されていない。 本稿では,LNの非線形性と表現能力に関する新たな理論的方向性について検討する。 本稿では,LN-Netと呼ばれる線形およびLN変換を階層的に構成したネットワークの表現能力について検討する。 理論的には、ラベル割り当てのある$m$サンプルが与えられた場合、各層に3つのニューロンしか持たないLN-Netと$O(m)$LN層がそれらを正しく分類できることが示される。 さらに、LN-NetのVC次元の低い境界を示す。 LNの非線形性は群分割によって増幅することができ、これは理論上は軽微な仮定で示され、実験によって実証的に支持される。 本研究は,LNの非線形性を利用してニューラルアーキテクチャを設計し,その有効性を実証することを目的としている。

関連論文リスト

• Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
  ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証の最も効果的な方法の一つである。 我々は、一般的な計算グラフにおける一般的な非線形性に対してBaBを実行するための一般的なフレームワークGenBaBを開発した。 我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つネットワークを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-31T17:51:07Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Explicitising The Implicit Intrepretability of Deep Neural Networks Via Duality [5.672223170618133]
  Lakshminarayanan氏とSingh氏の最近の研究は、修正線形ユニット(ReLU)を備えた完全連結ディープニューラルネットワーク(DNN)のための二重ビューを提供する。
  論文  参考訳（メタデータ） (2022-03-01T03:08:21Z)
• On the Equivalence between Neural Network and Support Vector Machine [23.174679357972984]
  勾配降下によって訓練された無限広ニューラルネットワーク(NN)の力学は、Tangent Neural Kernel(NTK)によって特徴づけられる NNとサポートベクトルマシン(SVM)の等価性を確立する。 我々の主要な理論的結果は、NNと有限幅境界を持つ$ell$正規化KMの広いファミリーの同値性を確立することである。
  論文  参考訳（メタデータ） (2021-11-11T06:05:00Z)
• Disentangling deep neural networks with rectified linear units using duality [4.683806391173103]
  線形整流ユニット(ReLU)を用いたディープニューラルネットワーク(DNN)の解釈可能な新しい実装を提案する。 我々は、大域プールとスキップ接続との畳み込みが、それぞれ回転不変性とアンサンブル構造をニューラルパスカーネル(NPK)にもたらすことを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:51:59Z)
• A Survey of Label-noise Representation Learning: Past, Present and Future [172.28865582415628]
  Label-Noise Representation Learning (LNRL) 法は、ノイズのあるラベルでディープモデルを堅牢に訓練することができる。 LNRL法は、インスタンス依存のLNRL、敵のLNRL、新しいデータセットの3つの方向に分けられる。 我々は,LNRLを超えて,特徴ノイズ,優先ノイズ,ドメインノイズ,類似ノイズ,グラフノイズ,実演ノイズなどの潜在方向を想定する。
  論文  参考訳（メタデータ） (2020-11-09T13:16:02Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。