論文の概要: Anticorrelated Noise Injection for Improved Generalization

• arxiv url: http://arxiv.org/abs/2202.02831v1
• Date: Sun, 6 Feb 2022 18:52:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 06:58:55.394539
• Title: Anticorrelated Noise Injection for Improved Generalization
• Title（参考訳）: 一般化のための反相関ノイズ注入
• Authors: Antonio Orvieto, Hans Kersting, Frank Proske, Francis Bach, Aurelien Lucchi
• Abstract要約: 勾配降下(GD)に人工ノイズを注入することで、機械学習モデルの性能を向上させることが一般的である。 しかし、これが最適かどうか、あるいは他の種類のノイズがより良い一般化性能を提供できるかどうかは不明である。 我々は,抗相関性摂動(Anti-PGD)を持つGDが,GDと標準(非相関性)PGDよりもはるかに良く一般化することを示す,様々な目的関数を考察する。
• 参考スコア（独自算出の注目度）: 6.970991851511823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Injecting artificial noise into gradient descent (GD) is commonly employed to improve the performance of machine learning models. Usually, uncorrelated noise is used in such perturbed gradient descent (PGD) methods. It is, however, not known if this is optimal or whether other types of noise could provide better generalization performance. In this paper, we zoom in on the problem of correlating the perturbations of consecutive PGD steps. We consider a variety of objective functions for which we find that GD with anticorrelated perturbations ("Anti-PGD") generalizes significantly better than GD and standard (uncorrelated) PGD. To support these experimental findings, we also derive a theoretical analysis that demonstrates that Anti-PGD moves to wider minima, while GD and PGD remain stuck in suboptimal regions or even diverge. This new connection between anticorrelated noise and generalization opens the field to novel ways to exploit noise for training machine learning models.
• Abstract（参考訳）: 勾配降下(gd)への人工雑音の注入は、機械学習モデルの性能を改善するために一般的に用いられる。 通常、非相関ノイズはこのような摂動勾配降下(PGD)法で用いられる。 しかし、これが最適かどうか、あるいは他の種類のノイズがより良い一般化性能を提供できるかどうかは不明である。 本稿では,連続したPGDステップの摂動を関連づける問題を拡大する。 我々は,抗相関性摂動(Anti-PGD)を持つGDが,GDと標準(非相関性)PGDよりもはるかに良く一般化することを示す,様々な目的関数を考察する。 これらの実験結果を支持するために,抗PGDがより広い最小値に移行し,GDとPGDは至適領域に留まり,あるいは分岐することを示す理論解析も導出した。 反相関ノイズと一般化の新たな結びつきは、機械学習モデルのトレーニングにノイズを利用する新しい方法へとフィールドを開放する。

関連論文リスト

• Butterfly Effects of SGD Noise: Error Amplification in Behavior Cloning and Autoregression [70.78523583702209]
  深層ニューラルネットワークを用いた行動クローニングの訓練不安定性について検討した。 トレーニング中のSGD更新の最小化は,長期的報奨の急激な振動をもたらすことが観察された。
  論文  参考訳（メタデータ） (2023-10-17T17:39:40Z)
• Per-Example Gradient Regularization Improves Learning Signals from Noisy Data [25.646054298195434]
  実験的な証拠は、勾配正則化技術は、ノイズの多い摂動に対するディープラーニングモデルの堅牢性を著しく向上させることができることを示唆している。 本稿では,騒音摂動に対する試験誤差とロバスト性の両方を改善することの有効性を理論的に示す。 解析の結果,PEGRはパターン学習の分散をペナルティ化し,学習データからの雑音の記憶を効果的に抑制することがわかった。
  論文  参考訳（メタデータ） (2023-03-31T10:08:23Z)
• Noise Injection Node Regularization for Robust Learning [0.0]
  ノイズインジェクションノード規則化(NINR)は、トレーニング期間中に、構造化されたノイズをディープニューラルネットワーク(DNN)に注入する手法である。 本研究は、NINRの下で訓練されたフィードフォワードDNNに対する各種試験データ摂動に対するロバスト性を大幅に改善する理論的および実証的な証拠を示す。
  論文  参考訳（メタデータ） (2022-10-27T20:51:15Z)
• On the Theoretical Properties of Noise Correlation in Stochastic Optimization [6.970991851511823]
  PGDとアンチPGDに比較して,fPGDは探索能力を有することを示す。 これらの結果は、機械学習モデルにノイズを利用する新しい方法へとフィールドを開放する。
  論文  参考訳（メタデータ） (2022-09-19T16:32:22Z)
• Guided Diffusion Model for Adversarial Purification [103.4596751105955]
  敵攻撃は、様々なアルゴリズムやフレームワークでディープニューラルネットワーク(DNN)を妨害する。 本稿では,GDMP ( Guided diffusion model for purification) と呼ばれる新しい精製法を提案する。 様々なデータセットにわたる包括的実験において,提案したGDMPは,敵対的攻撃によって引き起こされた摂動を浅い範囲に減少させることを示した。
  論文  参考訳（メタデータ） (2022-05-30T10:11:15Z)
• Heavy-tailed denoising score matching [5.371337604556311]
  ランゲヴィン力学における複数のノイズレベルを連続的に初期化する反復的雑音スケーリングアルゴリズムを開発した。 実用面では、重み付きDSMを用いることで、スコア推定、制御可能なサンプリング収束、不均衡データセットに対するよりバランスのない非条件生成性能が改善される。
  論文  参考訳（メタデータ） (2021-12-17T22:04:55Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。