論文の概要: SAM as an Optimal Relaxation of Bayes
- arxiv url: http://arxiv.org/abs/2210.01620v3
- Date: Sun, 10 Dec 2023 19:37:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 23:06:09.366493
- Title: SAM as an Optimal Relaxation of Bayes
- Title(参考訳): ベイズの最適緩和としてのSAM
- Authors: Thomas M\"ollenhoff, Mohammad Emtiyaz Khan
- Abstract要約: シャープネス・アウェア(SAM)およびそれに関連する逆深層学習法は、一般化を大幅に改善することができるが、その基盤となるメカニズムはまだ完全には理解されていない。
ここでは,期待される負の損失を最適凸下界に置き換えるベイズ目標の緩和としてSAMを確立する。
この接続により、新しいAdamのようなSAMの拡張が自動的に妥当な不確実性の推定値を得ることができ、時には精度も向上する。
- 参考スコア(独自算出の注目度): 16.706857741307363
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sharpness-aware minimization (SAM) and related adversarial deep-learning
methods can drastically improve generalization, but their underlying mechanisms
are not yet fully understood. Here, we establish SAM as a relaxation of the
Bayes objective where the expected negative-loss is replaced by the optimal
convex lower bound, obtained by using the so-called Fenchel biconjugate. The
connection enables a new Adam-like extension of SAM to automatically obtain
reasonable uncertainty estimates, while sometimes also improving its accuracy.
By connecting adversarial and Bayesian methods, our work opens a new path to
robustness.
- Abstract(参考訳): シャープネスを意識した最小化(SAM)およびそれに関連する逆深層学習法は、一般化を大幅に改善することができるが、その基盤となるメカニズムはまだ完全には理解されていない。
そこで我々は,いわゆるフェンシェル双共役を用いて得られた最適凸下界に,期待負損失が置き換えられるベイズ目標の緩和としてsamを定式化する。
この接続により、新しいAdamのようなSAMの拡張が自動的に妥当な不確実性の推定値を得ることができ、時には精度も向上する。
敵対的手法とベイズ的手法をつなぐことで、我々の研究は堅牢性への新しい道を開きます。
関連論文リスト
- Friendly Sharpness-Aware Minimization [62.57515991835801]
シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。
対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。
逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
論文 参考訳(メタデータ) (2024-03-19T01:39:33Z) - On the Duality Between Sharpness-Aware Minimization and Adversarial
Training [15.749426214261637]
敵の攻撃に対する最も効果的な防御手段は、敵の訓練(AT)である。
ATは、トレーニング中に入力サンプルを逆向きに摂動させる。
サンプルを摂動させる代わりに、SAM(Sharpness-Aware Minimization)はトレーニング中にモデルの重量を摂動させ、より平坦なロスランドスケープを見つける。
論文 参考訳(メタデータ) (2024-02-23T07:22:55Z) - Stabilizing Sharpness-aware Minimization Through A Simple
Renormalization Strategy [12.927965934262847]
シャープネス・アウェア(SAM)を用いたニューラルネットワークのトレーニングは非常に不安定である。
そこで我々は、StableSAMと呼ばれる単純な再正規化戦略を提案し、従順勾配のノルムが正確な勾配のノルムを維持する。
本稿は,StableSAMが学習率のこの仕組みをどのように拡張し,SAMを微調整で一貫した性能を実現できるかを示す。
論文 参考訳(メタデータ) (2024-01-14T10:53:36Z) - Enhancing Sharpness-Aware Optimization Through Variance Suppression [48.908966673827734]
この研究は損失関数の幾何学を取り入れ、そこでは「平坦なミニマ」の近傍が一般化能力を高める。
地区内の敵対的な摂動パラメータによる最大損失を最小化することで「平坦な谷」を求める。
損失関数のシャープさを考慮に入れることが重要であるが、そのような「過剰にフレンドリーな敵」は極端に一般化のレベルを縮めることができる。
論文 参考訳(メタデータ) (2023-09-27T13:18:23Z) - Systematic Investigation of Sparse Perturbed Sharpness-Aware
Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。
SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。
本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文 参考訳(メタデータ) (2023-06-30T09:33:41Z) - Sharpness-Aware Minimization Alone can Improve Adversarial Robustness [7.9810915020234035]
敵の強靭性の観点から,シャープネス・アウェアの最小化(SAM)について検討する。
その結果,SAMのみを用いることで,通常の訓練に比べてクリーンな精度を犠牲にすることなく,対向ロバスト性を向上できることがわかった。
SAMと対人訓練(AT)は摂動強度の点で異なることが示され、精度と頑健さのトレードオフが異なっている。
論文 参考訳(メタデータ) (2023-05-09T12:39:21Z) - AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning
Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。
AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。
いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
論文 参考訳(メタデータ) (2023-03-01T15:12:42Z) - Fisher SAM: Information Geometry and Sharpness Aware Minimisation [81.72160507751028]
最近のシャープネス認識最小化(SAM)は平坦なミニマを見つけることが知られている。
SAMは、現在のイテレート周辺の小さな地区内での最大損失値を報告することにより、損失関数を基本的に変更する。
近傍を定義する際に, モデルパラメータ空間の情報幾何学, すなわち, SAMのユークリッド球をフィッシャー情報によって誘導される楕円形に置き換える。
論文 参考訳(メタデータ) (2022-06-10T07:42:51Z) - Efficient Sharpness-aware Minimization for Improved Training of Neural
Networks [146.2011175973769]
本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。
Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。
我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
論文 参考訳(メタデータ) (2021-10-07T02:20:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。