論文の概要: Ghost Noise for Regularizing Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2305.17205v2
• Date: Tue, 19 Dec 2023 15:12:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 02:17:29.963549
• Title: Ghost Noise for Regularizing Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークの正則化のためのゴーストノイズ
• Authors: Atli Kosson, Dongyang Fan, Martin Jaggi
• Abstract要約: バッチ正規化(BN)は、最適化プロセスを安定化し、ディープニューラルネットワークのテスト性能を改善するために広く用いられている。 本稿では,GBN のノイズを再現する Ghost Noise Injection (GNI) と呼ばれる新しい正規化手法を提案する。
• 参考スコア（独自算出の注目度）: 38.08431828419127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch Normalization (BN) is widely used to stabilize the optimization process and improve the test performance of deep neural networks. The regularization effect of BN depends on the batch size and explicitly using smaller batch sizes with Batch Normalization, a method known as Ghost Batch Normalization (GBN), has been found to improve generalization in many settings. We investigate the effectiveness of GBN by disentangling the induced ``Ghost Noise'' from normalization and quantitatively analyzing the distribution of noise as well as its impact on model performance. Inspired by our analysis, we propose a new regularization technique called Ghost Noise Injection (GNI) that imitates the noise in GBN without incurring the detrimental train-test discrepancy effects of small batch training. We experimentally show that GNI can provide a greater generalization benefit than GBN. Ghost Noise Injection can also be beneficial in otherwise non-noisy settings such as layer-normalized networks, providing additional evidence of the usefulness of Ghost Noise in Batch Normalization as a regularizer.
• Abstract（参考訳）: バッチ正規化(BN)は、最適化プロセスを安定化し、ディープニューラルネットワークのテスト性能を改善するために広く用いられている。 BNの正規化効果はバッチサイズに依存しており、Ghost Batch Normalization (GBN) と呼ばれる手法である Batch Normalization を用いたより小さなバッチサイズを明示的に用いている。 正規化から誘導される「ゴーストノイズ」を解き放つことにより,GBNの有効性を検証し,ノイズの分布とモデル性能への影響を定量的に分析する。 そこで本研究では,gbnの雑音を模倣したgni(ghost noise injection)と呼ばれる新しい正規化手法を提案する。 GNI が GBN よりも優れた一般化の恩恵をもたらすことを示す。 ゴーストノイズ注入は、層正規化ネットワークのような非ノイズの環境でも有効であり、正規化におけるゴーストノイズが正則化として有用であることを示す追加の証拠となる。

関連論文リスト

• Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training [9.618473763561418]
  Gradient Descent(SGD)を使用した小さなバッチによるDeep Neural Networks(DNN)のトレーニングでは、より大きなバッチよりも優れたテストパフォーマンスが得られる。 DNNのトレーニングで差分プライバシー(DP)を確保するために使用されるDP-SGDは、クリップされた勾配にガウスノイズを付加する。 驚くべきことに、大規模なバッチトレーニングは依然としてパフォーマンスを著しく低下させており、強力なDPが大量のバッチを使用する必要があることを保証しているため、重要な課題となっている。
  論文  参考訳（メタデータ） (2024-02-13T10:19:33Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)
• Batch Group Normalization [45.03388237812212]
  バッチ正規化(BN)は中規模および大規模なバッチサイズでよく機能する。 BNは、ノイズ/畳み込み統計計算により、小さな/非常に大きなバッチサイズで飽和する。 BGN は小・極大バッチサイズでの BN の雑音/畳み込み統計計算を解くために提案される。
  論文  参考訳（メタデータ） (2020-12-04T18:57:52Z)
• Explicit Regularisation in Gaussian Noise Injections [64.11680298737963]
  ガウスノイズインジェクション(GNI)によるニューラルネットワークの正規化の検討 GNIの明示的な正則化を導出する。 このような正規化は、大きな分類マージンを持つ校正分類器を生成することを分析的かつ実証的に示す。
  論文  参考訳（メタデータ） (2020-07-14T21:29:46Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。