Fugu-MT 論文翻訳(概要): SAM as an Optimal Relaxation of Bayes

論文の概要: SAM as an Optimal Relaxation of Bayes

arxiv url: http://arxiv.org/abs/2210.01620v3
Date: Sun, 10 Dec 2023 19:37:38 GMT
ステータス: 処理完了
システム内更新日: 2023-12-12 23:06:09.366493
Title: SAM as an Optimal Relaxation of Bayes
Title（参考訳）: ベイズの最適緩和としてのSAM
Authors: Thomas M\"ollenhoff, Mohammad Emtiyaz Khan
Abstract要約: シャープネス・アウェア(SAM)およびそれに関連する逆深層学習法は、一般化を大幅に改善することができるが、その基盤となるメカニズムはまだ完全には理解されていない。ここでは,期待される負の損失を最適凸下界に置き換えるベイズ目標の緩和としてSAMを確立する。この接続により、新しいAdamのようなSAMの拡張が自動的に妥当な不確実性の推定値を得ることができ、時には精度も向上する。
参考スコア（独自算出の注目度）: 16.706857741307363
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sharpness-aware minimization (SAM) and related adversarial deep-learning methods can drastically improve generalization, but their underlying mechanisms are not yet fully understood. Here, we establish SAM as a relaxation of the Bayes objective where the expected negative-loss is replaced by the optimal convex lower bound, obtained by using the so-called Fenchel biconjugate. The connection enables a new Adam-like extension of SAM to automatically obtain reasonable uncertainty estimates, while sometimes also improving its accuracy. By connecting adversarial and Bayesian methods, our work opens a new path to robustness.
Abstract（参考訳）: シャープネスを意識した最小化(SAM)およびそれに関連する逆深層学習法は、一般化を大幅に改善することができるが、その基盤となるメカニズムはまだ完全には理解されていない。そこで我々は,いわゆるフェンシェル双共役を用いて得られた最適凸下界に,期待負損失が置き換えられるベイズ目標の緩和としてsamを定式化する。この接続により、新しいAdamのようなSAMの拡張が自動的に妥当な不確実性の推定値を得ることができ、時には精度も向上する。敵対的手法とベイズ的手法をつなぐことで、我々の研究は堅牢性への新しい道を開きます。

関連論文リスト

SAMPa: Sharpness-aware Minimization Parallelized [51.668052890249726]
シャープネス認識(SAM)はニューラルネットワークの一般化を改善することが示されている。 SAMの更新には2つの勾配を瞬時に計算する必要がある。我々は,SAMPaと呼ばれるSAMの簡単な修正を提案し,この2つの勾配計算を完全に並列化することができる。
論文参考訳（メタデータ） (2024-10-14T16:21:23Z)
Improving SAM Requires Rethinking its Optimization Formulation [57.601718870423454]
Sharpness-Aware Minimization (SAM) は、もともとネットワークの重みと有界摂動がそれぞれ同じ差分損失を最小/最大化しようとするゼロサムゲームとして定式化されている。我々は SAM を 0-1 の損失を用いて再定式化すべきであると主張する。連続緩和として、最小化(最大化)プレイヤーが 0-1 の損失に対して上界(より下界)をサロゲートする単純なアプローチに従う。これは BiSAM と呼ばれる双レベル最適化問題として SAM の新たな定式化につながる。
論文参考訳（メタデータ） (2024-07-17T20:22:33Z)
Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization [17.670203551488218]
シャープネス認識最小化(AUSAM)を加速する漸近的アンバイアスサンプリングを提案する。 AUSAMはモデルの一般化能力を維持しながら、計算効率を大幅に向上させる。プラグアンドプレイでアーキテクチャに依存しない手法として、我々のアプローチはSAMを様々なタスクやネットワークで継続的に加速させる。
論文参考訳（メタデータ） (2024-06-12T08:47:44Z)
Friendly Sharpness-Aware Minimization [62.57515991835801]
シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
論文参考訳（メタデータ） (2024-03-19T01:39:33Z)
On the Duality Between Sharpness-Aware Minimization and Adversarial Training [14.863336218063646]
対戦訓練(AT)は、敵の攻撃に対する最も効果的な防御の1つだが、必然的にクリーンな精度が低下している。サンプルを摂動させる代わりに、SAM(Sharpness-Aware Minimization)はトレーニング中にモデルの重量を摂動させ、より平坦なロスランドスケープを見つける。 SAMのみを用いることで、敵の堅牢性を向上させることができる。
論文参考訳（メタデータ） (2024-02-23T07:22:55Z)
Enhancing Sharpness-Aware Optimization Through Variance Suppression [48.908966673827734]
この研究は損失関数の幾何学を取り入れ、そこでは「平坦なミニマ」の近傍が一般化能力を高める。地区内の敵対的な摂動パラメータによる最大損失を最小化することで「平坦な谷」を求める。損失関数のシャープさを考慮に入れることが重要であるが、そのような「過剰にフレンドリーな敵」は極端に一般化のレベルを縮めることができる。
論文参考訳（メタデータ） (2023-09-27T13:18:23Z)
Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文参考訳（メタデータ） (2023-06-30T09:33:41Z)
Sharpness-Aware Minimization Alone can Improve Adversarial Robustness [7.9810915020234035]
敵の強靭性の観点から,シャープネス・アウェアの最小化(SAM)について検討する。その結果,SAMのみを用いることで,通常の訓練に比べてクリーンな精度を犠牲にすることなく,対向ロバスト性を向上できることがわかった。 SAMと対人訓練(AT)は摂動強度の点で異なることが示され、精度と頑健さのトレードオフが異なっている。
論文参考訳（メタデータ） (2023-05-09T12:39:21Z)
AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
論文参考訳（メタデータ） (2023-03-01T15:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。