論文の概要: Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections
- arxiv url: http://arxiv.org/abs/2102.07006v1
- Date: Sat, 13 Feb 2021 21:28:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 13:16:15.631219
- Title: Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections
- Title（参考訳）: ガウスノイズ注入における非対称重機とインシシットバイアス
- Authors: Alexander Camuto, Xiaoyu Wang, Lingjiong Zhu, Chris Holmes, Mert
G\"urb\"uzbalaban, Umut \c{S}im\c{s}ekli
- Abstract要約: 我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。
この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。
そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
- 参考スコア（独自算出の注目度）: 73.95786440318369
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian noise injections (GNIs) are a family of simple and widely-used
regularisation methods for training neural networks, where one injects additive
or multiplicative Gaussian noise to the network activations at every iteration
of the optimisation algorithm, which is typically chosen as stochastic gradient
descent (SGD). In this paper we focus on the so-called `implicit effect' of
GNIs, which is the effect of the injected noise on the dynamics of SGD. We show
that this effect induces an asymmetric heavy-tailed noise on SGD gradient
updates. In order to model this modified dynamics, we first develop a
Langevin-like stochastic differential equation that is driven by a general
family of asymmetric heavy-tailed noise. Using this model we then formally
prove that GNIs induce an `implicit bias', which varies depending on the
heaviness of the tails and the level of asymmetry. Our empirical results
confirm that different types of neural networks trained with GNIs are
well-modelled by the proposed dynamics and that the implicit effect of these
injections induces a bias that degrades the performance of networks.
- Abstract（参考訳）: ガウスノイズインジェクション(ガウスノイズインジェクション、英: Gaussian noise Injections、GNI)は、ニューラルネットワークをトレーニングするための単純で広く使われている正規化手法のファミリーであり、最適化アルゴリズムの反復毎に加法的あるいは乗法的ガウスノイズをネットワークアクティベーションに注入する。
本稿では,sgdのダイナミクスに対する注入ノイズの影響であるgnisのいわゆる「インプリシット効果」に着目した。
この効果はSGD勾配更新において非対称な重み付き雑音を引き起こすことを示す。
この修正力学をモデル化するために、まず、非対称重み付き雑音の一般族によって駆動されるランゲヴィン型確率微分方程式を開発する。
このモデルを用いて、GNIが尾の重みと非対称性のレベルによって異なる「単純バイアス」を誘導することを正式に証明する。
実験の結果,gnisで訓練されたニューラルネットワークの異なるタイプは,提案するダイナミクスによくモデル化されており,これらのインジェクションの暗黙的効果は,ネットワークの性能を低下させるバイアスを引き起こすことが明らかとなった。
関連論文リスト
- Doubly Stochastic Models: Learning with Unbiased Label Noises and
Inference Stability [85.1044381834036]
勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。
そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。
我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
論文 参考訳（メタデータ） (2023-04-01T14:09:07Z) - Extracting stochastic dynamical systems with $\alpha$-stable L\'evy
noise from data [14.230182518492311]
本稿では,短時間のバーストデータから$$alpha$-stable L'evyノイズを持つシステムを抽出するデータ駆動方式を提案する。
より具体的には、最初にL'evyジャンプ測度と雑音強度を推定する。
次に,非局所クラマース・モヤル式と正規化流を組み合わせることでドリフト係数を近似する。
論文 参考訳（メタデータ） (2021-09-30T06:57:42Z) - Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to
Improve Generalization [89.7882166459412]
勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。
深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。
低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
論文 参考訳（メタデータ） (2021-03-31T16:08:06Z) - A Distributed Optimisation Framework Combining Natural Gradient with
Hessian-Free for Discriminative Sequence Training [16.83036203524611]
本稿では、ニューラルネットワークトレーニングのための自然勾配およびヘッセンフリー(NGHF)最適化フレームワークを提案する。
これは、自然勾配(ng)法とヘッセンフリー(hf)や他の二次法からの局所曲率情報を組み合わせた線形共役勾配(cg)アルゴリズムに依存している。
さまざまな音響モデルタイプのマルチジャンル放送データセットで実験が報告されています。
論文 参考訳（メタデータ） (2021-03-12T22:18:34Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳（メタデータ） (2020-08-19T12:35:55Z) - Explicit Regularisation in Gaussian Noise Injections [64.11680298737963]
ガウスノイズインジェクション(GNI)によるニューラルネットワークの正規化の検討
GNIの明示的な正則化を導出する。
このような正規化は、大きな分類マージンを持つ校正分類器を生成することを分析的かつ実証的に示す。
論文 参考訳（メタデータ） (2020-07-14T21:29:46Z) - Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。
ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。
分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
論文 参考訳（メタデータ） (2020-06-15T18:31:02Z) - A Data-Driven Approach for Discovering Stochastic Dynamical Systems with
Non-Gaussian Levy Noise [5.17900889163564]
ノイズの多いデータセットから規制法則を抽出する新しいデータ駆動手法を開発した。
まず, ドリフト係数, 拡散係数, ジャンプ測度を表現し, 実現可能な理論的枠組みを確立する。
そこで我々は, ドリフト, 拡散係数, ジャンプ測度を計算する数値アルゴリズムを設計し, ガウス雑音および非ガウス雑音による支配方程式を抽出する。
論文 参考訳（メタデータ） (2020-05-07T21:29:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。