論文の概要: Understanding and Improving Group Normalization

• arxiv url: http://arxiv.org/abs/2207.01972v1
• Date: Tue, 5 Jul 2022 11:31:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-06 22:10:30.193925
• Title: Understanding and Improving Group Normalization
• Title（参考訳）: グループ正規化の理解と改善
• Authors: Agus Gunawan, Xu Yin, Kang Zhang
• Abstract要約: グループ正規化(GN)は、視覚認知タスクにおいて重要なパフォーマンスを達成した、効果的で魅力的な研究の1つである。 本稿では,ニューラルネットワークのトレーニングプロセスに影響を及ぼすGNの動作原理を論じる。 バッチ正規化の利点を生かしてGN上に構築した新しい正規化層を提案する。
• 参考スコア（独自算出の注目度）: 1.1902884131696785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Various normalization layers have been proposed to help the training of neural networks. Group Normalization (GN) is one of the effective and attractive studies that achieved significant performances in the visual recognition task. Despite the great success achieved, GN still has several issues that may negatively impact neural network training. In this paper, we introduce an analysis framework and discuss the working principles of GN in affecting the training process of the neural network. From experimental results, we conclude the real cause of GN's inferior performance against Batch normalization (BN): 1) \textbf{unstable training performance}, 2) \textbf{more sensitive} to distortion, whether it comes from external noise or perturbations introduced by the regularization. In addition, we found that GN can only help the neural network training in some specific period, unlike BN, which helps the network throughout the training. To solve these issues, we propose a new normalization layer built on top of GN, by incorporating the advantages of BN. Experimental results on the image classification task demonstrated that the proposed normalization layer outperforms the official GN to improve recognition accuracy regardless of the batch sizes and stabilize the network training.
• Abstract（参考訳）: ニューラルネットワークのトレーニングを支援するため、様々な正規化層が提案されている。 グループ正規化(GN)は、視覚認知タスクにおいて重要なパフォーマンスを達成した、効果的で魅力的な研究の1つである。 大きな成功にもかかわらず、GNには、ニューラルネットワークトレーニングに悪影響を及ぼす可能性のあるいくつかの問題がある。 本稿では,ニューラルネットワークのトレーニングプロセスに影響を及ぼすGNの動作原理を考察する。 実験結果から,GNのバッチ正規化(BN)に対する性能低下の本当の原因を結論する。 1) \textbf{unstable training performance} 2) 外部ノイズや正規化によってもたらされる摂動から生じる歪みに対して, textbf{more sensitive}。 さらに、GNは、トレーニング全体を通してネットワークを支援するBNとは異なり、特定の期間でニューラルネットワークのトレーニングにしか役に立たないことがわかった。 これらの問題を解決するために, BN の利点を取り入れた GN 上に構築された新しい正規化層を提案する。 画像分類実験の結果,提案する正規化層がgnを上回り,バッチサイズに関わらず認識精度が向上し,ネットワークトレーニングが安定することが示された。

関連論文リスト

• Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks [16.745718346575202]
  本稿では,ノードやグラフの分類タスクにおいて,過度なスムース化を抑える新しいスキーム(G-Init)を提案する。 以上の結果から,新しい手法(G-Init)は深部GNNの過剰なスムース化を低減し,その有効利用を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-10-31T11:21:20Z)
• Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient [8.516243389583702]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベントベースのコンピューティングとエネルギー効率の良い機能によって、多くの注目を集めている。 本研究では,SNNの一般化能力を向上させるため,MSG(Masked Surrogate Gradients)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T04:21:32Z)
• Attentional Graph Neural Networks for Robust Massive Network Localization [20.416879207269446]
  グラフニューラルネットワーク(GNN)は、機械学習における分類タスクの顕著なツールとして登場した。 本稿では,GNNとアテンション機構を統合し,ネットワークローカライゼーションという難解な非線形回帰問題に対処する。 我々はまず,厳密な非視線(NLOS)条件下でも例外的な精度を示すグラフ畳み込みネットワーク(GCN)に基づく新しいネットワークローカライゼーション手法を提案する。
  論文  参考訳（メタデータ） (2023-11-28T15:05:13Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks [12.475834086073734]
  1次勾配法はニューラルネットワークのトレーニングに広く用いられている。 近年の研究では、最初のニューラルオーダー法が世界最小収束を達成することができることが証明されている。
  論文  参考訳（メタデータ） (2022-08-08T07:13:26Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。