論文の概要: Normalization Techniques in Training DNNs: Methodology, Analysis and Application

• arxiv url: http://arxiv.org/abs/2009.12836v1
• Date: Sun, 27 Sep 2020 13:06:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 03:09:35.180650
• Title: Normalization Techniques in Training DNNs: Methodology, Analysis and Application
• Title（参考訳）: 訓練用DNNにおける正規化技術:方法論,解析,応用
• Authors: Lei Huang, Jie Qin, Yi Zhou, Fan Zhu, Li Liu, Ling Shao
• Abstract要約: ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である 本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
• 参考スコア（独自算出の注目度）: 111.82265258916397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalization techniques are essential for accelerating the training and improving the generalization of deep neural networks (DNNs), and have successfully been used in various applications. This paper reviews and comments on the past, present and future of normalization methods in the context of DNN training. We provide a unified picture of the main motivation behind different approaches from the perspective of optimization, and present a taxonomy for understanding the similarities and differences between them. Specifically, we decompose the pipeline of the most representative normalizing activation methods into three components: the normalization area partitioning, normalization operation and normalization representation recovery. In doing so, we provide insight for designing new normalization technique. Finally, we discuss the current progress in understanding normalization methods, and provide a comprehensive review of the applications of normalization for particular tasks, in which it can effectively solve the key issues.
• Abstract（参考訳）: 正規化技術は深層ニューラルネットワーク(DNN)の訓練と一般化の促進に不可欠であり、様々な応用に成功している。 本稿では,DNNトレーニングにおける正規化手法の過去,現在,未来に関するレビューとコメントを行う。 我々は最適化の観点から異なるアプローチの背後にある主な動機を統一した図を示し,それらの類似点と相違点を理解するための分類法を提案する。 具体的には、最も代表的な正規化活性化法のパイプラインを、正規化領域分割、正規化操作、正規化表現回復の3つの構成要素に分解する。 そこで我々は,新しい正規化手法を設計するための洞察を与える。 最後に、正規化手法の理解の現在の進展を議論し、重要課題を効果的に解決できる特定のタスクに対する正規化の適用の包括的レビューを提供する。

関連論文リスト

• Enhancing Neural Network Representations with Prior Knowledge-Based Normalization [0.07499722271664146]
  我々は、ニューラルネットワーク表現を改善するために事前知識を活用するマルチモード正規化の新しいアプローチを導入する。 本手法は,画像分類,領域適応,画像生成において,タスク間のコンバージェンスや性能に優れることを示す。
  論文  参考訳（メタデータ） (2024-03-25T14:17:38Z)
• AFN: Adaptive Fusion Normalization via an Encoder-Decoder Framework [6.293148047652131]
  適応核融合正規化(Adaptive Fusion Normalization)と呼ばれる新しい正規化関数を提案する。 実験により、AFNは、領域一般化および画像分類タスクにおいて、従来の正規化手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-07T06:08:51Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Hierarchical Normalization for Robust Monocular Depth Estimation [85.2304122536962]
  本研究では,空間情報と深度に基づいて,階層的に深度表現を正規化する新しいマルチスケール深度正規化手法を提案する。 実験の結果,提案手法は従来の正規化手法よりも著しく優れていた。
  論文  参考訳（メタデータ） (2022-10-18T08:18:29Z)
• A Systematic Survey of Regularization and Normalization in GANs [25.188671290175208]
  GAN(Generative Adversarial Networks)は、ディープニューラルネットワークの開発によって、さまざまなシナリオに広く適用されている。 GANが事前情報なしでターゲット分布に適合できるかどうかはまだ不明である。 正規化と正規化は、訓練を安定させ、差別を改善するために事前情報を導入する一般的な方法である。
  論文  参考訳（メタデータ） (2020-08-19T12:52:10Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)
• New Interpretations of Normalization Methods in Deep Learning [41.29746794151102]
  これらのツールを使って、一般的な正規化手法を深く分析する。 ほとんどの正規化法は統一されたフレームワークで解釈できる。 これらの正規化手法によるトレーニングは、重みのノルムを増大させ、攻撃を増幅すると敵の脆弱性を引き起こす可能性があることを証明している。
  論文  参考訳（メタデータ） (2020-06-16T12:26:13Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。