Fugu-MT 論文翻訳(概要): Sharpness-Aware Training for Free

論文の概要: Sharpness-Aware Training for Free

arxiv url: http://arxiv.org/abs/2205.14083v1
Date: Fri, 27 May 2022 16:32:43 GMT
ステータス: 処理完了
システム内更新日: 2022-05-30 12:18:36.824963
Title: Sharpness-Aware Training for Free
Title（参考訳）: シャープネスアウェアフリートレーニング
Authors: Jiawei Du, Daquan Zhou, Jiashi Feng, Vincent Y.F. Tan, Joey Tianyi Zhou
Abstract要約: シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
参考スコア（独自算出の注目度）: 163.1248341911413
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern deep neural networks (DNNs) have achieved state-of-the-art performances but are typically over-parameterized. The over-parameterization may result in undesirably large generalization error in the absence of other customized training strategies. Recently, a line of research under the name of Sharpness-Aware Minimization (SAM) has shown that minimizing a sharpness measure, which reflects the geometry of the loss landscape, can significantly reduce the generalization error. However, SAM-like methods incur a two-fold computational overhead of the given base optimizer (e.g. SGD) for approximating the sharpness measure. In this paper, we propose Sharpness-Aware Training for Free, or SAF, which mitigates the sharp landscape at almost zero additional computational cost over the base optimizer. Intuitively, SAF achieves this by avoiding sudden drops in the loss in the sharp local minima throughout the trajectory of the updates of the weights. Specifically, we suggest a novel trajectory loss, based on the KL-divergence between the outputs of DNNs with the current weights and past weights, as a replacement of the SAM's sharpness measure. This loss captures the rate of change of the training loss along the model's update trajectory. By minimizing it, SAF ensures the convergence to a flat minimum with improved generalization capabilities. Extensive empirical results show that SAF minimizes the sharpness in the same way that SAM does, yielding better results on the ImageNet dataset with essentially the same computational cost as the base optimizer.
Abstract（参考訳）: 現代のディープニューラルネットワーク(DNN)は最先端のパフォーマンスを達成したが、通常は過パラメータ化されている。オーバーパラメータ化は、他のカスタマイズされたトレーニング戦略がなければ、望ましくないほど大きな一般化誤差をもたらす可能性がある。近年、シャープネス・アウェア最小化 (SAM) と呼ばれる研究のラインは、損失景観の幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。しかし、SAMライクな手法は、シャープネス尺度を近似するために与えられたベースオプティマイザ(例えばSGD)の2倍の計算オーバーヘッドを発生させる。本稿では,saf(sharpness-aware training for free)を提案する。これは,ベースオプティマイザよりも計算コストがほぼゼロのシャープランドスケープを緩和する。直感的には、SAFは重量の更新の軌跡を通して急激な局所性ミニマの損失を回避してこれを達成している。具体的には,DNNの出力と現在の重量と過去の重量とのKL偏差に基づく新しい軌道損失をSAMのシャープネス尺度の代替として提案する。この損失は、モデルの更新軌道に沿ってトレーニング損失の変化率をキャプチャする。最小化することで、SAFは一般化能力を改善した平坦な最小限の収束を保証する。大規模な実験結果から、SAFはSAMと同様のシャープネスを最小化し、ベースオプティマイザと基本的に同じ計算コストでImageNetデータセット上でより良い結果が得られることが示された。

関連論文リスト

Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。高速グラフシャープネス認識最小化(FGSAM)を提案する。提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
論文参考訳（メタデータ） (2024-10-22T09:33:29Z)
CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
論文参考訳（メタデータ） (2023-12-21T03:46:29Z)
Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文参考訳（メタデータ） (2023-06-30T09:33:41Z)
Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
論文参考訳（メタデータ） (2022-10-11T06:30:10Z)
Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
論文参考訳（メタデータ） (2021-10-07T02:20:37Z)
ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks [2.8292841621378844]
スケール不変の適応シャープネスの概念を導入し、対応する一般化境界を提案する。本稿では,適応的シャープネス認識最小化(ASAM)という新たな学習手法を提案する。各種ベンチマークデータセットの実験結果から,ASAMはモデル一般化性能の大幅な向上に寄与することが示された。
論文参考訳（メタデータ） (2021-02-23T10:26:54Z)
Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
論文参考訳（メタデータ） (2020-10-03T19:02:10Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。