論文の概要: New Interpretations of Normalization Methods in Deep Learning

• arxiv url: http://arxiv.org/abs/2006.09104v1
• Date: Tue, 16 Jun 2020 12:26:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 19:28:33.359131
• Title: New Interpretations of Normalization Methods in Deep Learning
• Title（参考訳）: 深層学習における正規化法の新たな解釈
• Authors: Jiacheng Sun, Xiangyong Cao, Hanwen Liang, Weiran Huang, Zewei Chen, Zhenguo Li
• Abstract要約: これらのツールを使って、一般的な正規化手法を深く分析する。 ほとんどの正規化法は統一されたフレームワークで解釈できる。 これらの正規化手法によるトレーニングは、重みのノルムを増大させ、攻撃を増幅すると敵の脆弱性を引き起こす可能性があることを証明している。
• 参考スコア（独自算出の注目度）: 41.29746794151102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, a variety of normalization methods have been proposed to help train neural networks, such as batch normalization (BN), layer normalization (LN), weight normalization (WN), group normalization (GN), etc. However, mathematical tools to analyze all these normalization methods are lacking. In this paper, we first propose a lemma to define some necessary tools. Then, we use these tools to make a deep analysis on popular normalization methods and obtain the following conclusions: 1) Most of the normalization methods can be interpreted in a unified framework, namely normalizing pre-activations or weights onto a sphere; 2) Since most of the existing normalization methods are scaling invariant, we can conduct optimization on a sphere with scaling symmetry removed, which can help stabilize the training of network; 3) We prove that training with these normalization methods can make the norm of weights increase, which could cause adversarial vulnerability as it amplifies the attack. Finally, a series of experiments are conducted to verify these claims.
• Abstract（参考訳）: 近年、バッチ正規化(BN)、レイヤ正規化(LN)、重量正規化(WN)、グループ正規化(GN)など、ニューラルネットワークのトレーニングを支援する様々な正規化手法が提案されている。 しかし、これらすべての正規化法を分析する数学的ツールが不足している。 本稿ではまず,必要なツールを定義するための補題を提案する。 そして、これらのツールを用いて、一般的な正規化手法を深く分析し、以下の結論を得る。 1) ほとんどの正規化方法は,球面上の事前活性化又は重みの正規化という,統一的な枠組みで解釈することができる。 2) 既存の正規化手法の多くはスケール不変であるため,スケーリング対称性を排除した球面上で最適化を行うことができ,ネットワークのトレーニングの安定化に寄与する。 3) これらの正規化手法による訓練は重みの規範を増加させ,攻撃の増幅に伴って敵の脆弱性を引き起こす可能性があることを証明した。 最後に、これらの主張を検証するために一連の実験が行われた。

関連論文リスト

• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Preconditioning for Accelerated Gradient Descent Optimization and Regularization [2.306205094107543]
  AdaGrad、RMSProp、Adamのプレコンディショニングがいかにトレーニングを加速するかを説明します。 ヘッセン条件の改善により,正規化手法がトレーニングをいかに加速するかを実証する。
  論文  参考訳（メタデータ） (2024-09-30T20:58:39Z)
• Enhancing Neural Network Representations with Prior Knowledge-Based Normalization [0.07499722271664146]
  我々は、ニューラルネットワーク表現を改善するために事前知識を活用するマルチモード正規化の新しいアプローチを導入する。 本手法は,画像分類,領域適応,画像生成において,タスク間のコンバージェンスや性能に優れることを示す。
  論文  参考訳（メタデータ） (2024-03-25T14:17:38Z)
• A Revisit of the Normalized Eight-Point Algorithm and A Self-Supervised Deep Solution [45.10109739084541]
  我々は、正規化された8点アルゴリズムを再検討し、異なるより優れた正規化アルゴリズムの存在を示す。 本稿では,正規化のための自己教師型学習戦略を備えた深層畳み込みニューラルネットワークを提案する。 私たちの学習ベースの正規化モジュールは、従来の(例えば、RANSAC)とディープラーニングフレームワークの両方に統合することができます。
  論文  参考訳（メタデータ） (2023-04-21T06:41:17Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Normalization Techniques in Training DNNs: Methodology, Analysis and Application [111.82265258916397]
  ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である 本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
  論文  参考訳（メタデータ） (2020-09-27T13:06:52Z)
• Density Fixing: Simple yet Effective Regularization Method based on the Class Prior [2.3859169601259347]
  本稿では,教師付き・半教師付き学習によく用いられる密度固定法という正規化手法の枠組みを提案する。 提案手法は,モデルの事前分布や発生頻度を近似させることで,一般化性能を向上させる。
  論文  参考訳（メタデータ） (2020-07-08T04:58:22Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。