論文の概要: Weight and Gradient Centralization in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2010.00866v3
• Date: Sun, 17 Jan 2021 12:05:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 01:25:16.224098
• Title: Weight and Gradient Centralization in Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークにおける重みと勾配集中化
• Authors: Wolfgang Fuhl, Enkelejda Kasneci
• Abstract要約: バッチ正規化は現在、ディープニューラルネットワークにおいて最も広く使われている内部正規化の変種である。 本研究では,これらの手法を組み合わせることにより,ネットワークの一般化が促進される。
• 参考スコア（独自算出の注目度）: 13.481518628796692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch normalization is currently the most widely used variant of internal normalization for deep neural networks. Additional work has shown that the normalization of weights and additional conditioning as well as the normalization of gradients further improve the generalization. In this work, we combine several of these methods and thereby increase the generalization of the networks. The advantage of the newer methods compared to the batch normalization is not only increased generalization, but also that these methods only have to be applied during training and, therefore, do not influence the running time during use. Link to CUDA code https://atreus.informatik.uni-tuebingen.de/seafile/d/8e2ab8c3fdd444e1a135/
• Abstract（参考訳）: バッチ正規化は現在、ディープニューラルネットワークの最も広く使われている内部正規化の変種である。 さらなる研究により、重みの正規化と追加条件付け、および勾配の正規化は一般化をさらに改善することが示されている。 本研究では,これらの手法を組み合わせることにより,ネットワークの一般化が促進される。 バッチ正規化と比較して新しい手法の利点は、一般化が増大するだけでなく、これらの手法は訓練中にのみ適用されなければならないため、使用中のランニング時間に影響を与えない。 cuda コード https://atreus.informatik.uni-tuebingen.de/seafile/d/8e2ab8c3fdd444e1a135/

関連論文リスト

• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• When Does Re-initialization Work? [50.70297319284022]
  再初期化は、最近の研究における一般化を改善するために観察されている。 ディープラーニングの実践では広く採用されておらず、最先端のトレーニングプロトコルでもよく使用されている。 このことは、再初期化がいつ動作するのか、また、正規化技術と一緒に使うべきかという疑問を提起する。
  論文  参考訳（メタデータ） (2022-06-20T21:23:15Z)
• Training Thinner and Deeper Neural Networks: Jumpstart Regularization [2.8348950186890467]
  我々は、神経細胞が死滅したり線状になるのを防ぐために正規化を使用します。 従来のトレーニングと比較して、より薄く、より深く、そして(最も重要な)よりパラメータ効率の高いニューラルネットワークが得られます。
  論文  参考訳（メタデータ） (2022-01-30T12:11:24Z)
• Comparing Normalization Methods for Limited Batch Size Segmentation Neural Networks [0.0]
  バッチ正規化は、トレーニング中に大きなバッチサイズを使用して最もうまく機能する。 限定バッチサイズニューラルネットワークトレーニング環境におけるインスタンス正規化の有効性を示す。 また,本実験で使用したインスタンス正規化実装は,正規化手法を使わずにネットワークと比較した場合,計算時間を効率よくすることを示した。
  論文  参考訳（メタデータ） (2020-11-23T17:13:24Z)
• Normalization Techniques in Training DNNs: Methodology, Analysis and Application [111.82265258916397]
  ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である 本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
  論文  参考訳（メタデータ） (2020-09-27T13:06:52Z)
• Training Deep Neural Networks Without Batch Normalization [4.266320191208303]
  この研究はバッチ正規化を詳細に研究し、重量正規化、勾配クリッピング、ドロップアウトといった他の手法と比較する。 この研究の主な目的は、トレーニングプロセスの適応によってバッチ正規化が除去された場合、ネットワークを効果的にトレーニングできるかどうかを判断することである。
  論文  参考訳（メタデータ） (2020-08-18T15:04:40Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。