論文の概要: Gradient Centralization: A New Optimization Technique for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2004.01461v2
• Date: Wed, 8 Apr 2020 03:40:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 04:37:07.104651
• Title: Gradient Centralization: A New Optimization Technique for Deep Neural Networks
• Title（参考訳）: 勾配集中化:深層ニューラルネットワークの新しい最適化手法
• Authors: Hongwei Yong, Jianqiang Huang, Xiansheng Hua and Lei Zhang
• Abstract要約: 勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
• 参考スコア（独自算出の注目度）: 74.935141515523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization techniques are of great importance to effectively and efficiently train a deep neural network (DNN). It has been shown that using the first and second order statistics (e.g., mean and variance) to perform Z-score standardization on network activations or weight vectors, such as batch normalization (BN) and weight standardization (WS), can improve the training performance. Different from these existing methods that mostly operate on activations or weights, we present a new optimization technique, namely gradient centralization (GC), which operates directly on gradients by centralizing the gradient vectors to have zero mean. GC can be viewed as a projected gradient descent method with a constrained loss function. We show that GC can regularize both the weight space and output feature space so that it can boost the generalization performance of DNNs. Moreover, GC improves the Lipschitzness of the loss function and its gradient so that the training process becomes more efficient and stable. GC is very simple to implement and can be easily embedded into existing gradient based DNN optimizers with only one line of code. It can also be directly used to fine-tune the pre-trained DNNs. Our experiments on various applications, including general image classification, fine-grained image classification, detection and segmentation, demonstrate that GC can consistently improve the performance of DNN learning. The code of GC can be found at https://github.com/Yonghongwei/Gradient-Centralization.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)を効果的かつ効率的にトレーニングする上で、最適化技術は非常に重要である。 バッチ正規化(BN)や重み標準化(WS)といったネットワークアクティベーションや重みベクトルのZスコア標準化には,第1次および第2次統計値(平均値と分散値)を用いることで,トレーニング性能を向上させることが示されている。 アクティベーションや重みを主に扱うこれらの既存手法とは異なり、勾配ベクトルをゼロ平均に集中させることで勾配を直接操作する新しい最適化手法、すなわち勾配集中化(GC)を提案する。 gcは、制約付き損失関数を持つ投影勾配降下法と見なすことができる。 本稿では,GCが重み空間と出力特徴空間の両方を正規化することにより,DNNの一般化性能を向上できることを示す。 さらに、GCは損失関数のリプシッツ性と勾配を改善して、トレーニングプロセスがより効率的で安定したものにする。 GCは実装が非常に簡単で、1行のコードだけで既存の勾配ベースのDNNオプティマイザに簡単に組み込める。 トレーニング済みのDNNを直接調整するためにも使用できる。 一般画像分類,細粒度画像分類,検出,セグメンテーションなど,様々な応用実験を行い,gcがdnn学習の性能を一貫して向上できることを実証した。 GCのコードはhttps://github.com/Yonghongwei/Gradient-Centralizationにある。

関連論文リスト

• Adaptive Gradient Regularization: A Faster and Generalizable Optimization Technique for Deep Neural Networks [5.507301894089302]
  本稿では、勾配ベクトルの和正規化を係数として、ディープニューラルネットワークの新しい最適化手法を研究するための最初の試みである。 提案手法は適応勾配正規化 (Adaptive gradient regularization, AGR) と呼ばれる。
  論文  参考訳（メタデータ） (2024-07-24T02:23:18Z)
• On the Initialization of Graph Neural Networks [10.153841274798829]
  グラフニューラルネットワーク層間の前方・後方伝播のばらつきを解析する。 GNN最適化(Virgo)における可変不安定化のための新しい手法を提案する。 15のデータセットで包括的な実験を行い、Virgoが優れたモデルパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:55:49Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Penalizing Gradient Norm for Efficiently Improving Generalization in Deep Learning [13.937644559223548]
  ディープニューラルネットワーク(DNN)をうまく一般化するためのトレーニング方法が、ディープラーニングの中心的な関心事である。 最適化時の損失関数の勾配ノルムをペナルティ化することにより,モデル一般化を効果的に向上する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:03:45Z)
• Generalizable Cross-Graph Embedding for GNN-based Congestion Prediction [22.974348682859322]
  我々は,ノード機能の品質を高めるために,与えられたネットリストの埋め込みを直接学習できるフレームワークを提案する。 ネットリスト上に学習した埋め込みとGNNを組み合わせることで、予測性能を改善し、新しい回路ラインに一般化し、トレーニングの効率化を実現し、実行時に90 %以上節約できる可能性がある。
  論文  参考訳（メタデータ） (2021-11-10T20:56:29Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。