Fugu-MT 論文翻訳(概要): Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization

論文の概要: Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization

arxiv url: http://arxiv.org/abs/2406.08001v1
Date: Wed, 12 Jun 2024 08:47:44 GMT
ステータス: 処理完了
システム内更新日: 2024-06-13 17:45:58.590356
Title: Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization
Title（参考訳）: Asymptotic Unbiased Sample Smpling to Speed Up Sharpness-Aware Minimization (特集:小特集号)
Authors: Jiaxin Deng, Junbiao Pang, Baochang Zhang,
Abstract要約: シャープネス認識最小化(AUSAM)を加速する漸近的アンバイアスサンプリングを提案する。 AUSAMはモデルの一般化能力を維持しながら、計算効率を大幅に向上させる。プラグアンドプレイでアーキテクチャに依存しない手法として、我々のアプローチはSAMを様々なタスクやネットワークで継続的に加速させる。
参考スコア（独自算出の注目度）: 17.670203551488218
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sharpness-Aware Minimization (SAM) has emerged as a promising approach for effectively reducing the generalization error. However, SAM incurs twice the computational cost compared to base optimizer (e.g., SGD). We propose Asymptotic Unbiased Sampling with respect to iterations to accelerate SAM (AUSAM), which maintains the model's generalization capacity while significantly enhancing computational efficiency. Concretely, we probabilistically sample a subset of data points beneficial for SAM optimization based on a theoretically guaranteed criterion, i.e., the Gradient Norm of each Sample (GNS). We further approximate the GNS by the difference in loss values before and after perturbation in SAM. As a plug-and-play, architecture-agnostic method, our approach consistently accelerates SAM across a range of tasks and networks, i.e., classification, human pose estimation and network quantization. On CIFAR10/100 and Tiny-ImageNet, AUSAM achieves results comparable to SAM while providing a speedup of over 70%. Compared to recent dynamic data pruning methods, AUSAM is better suited for SAM and excels in maintaining performance. Additionally, AUSAM accelerates optimization in human pose estimation and model quantization without sacrificing performance, demonstrating its broad practicality.
Abstract（参考訳）: Sharpness-Aware Minimization (SAM) は、一般化誤差を効果的に低減するための有望なアプローチとして登場した。しかしSAMは、ベースオプティマイザ(例えばSGD)に比べて計算コストが2倍になる。本稿では, SAM (AUSAM) を高速化する反復に対する漸近的アンバイアスサンプリングを提案し, モデルの一般化能力を維持しつつ, 計算効率を大幅に向上させる。具体的には、理論上保証された基準、すなわち各サンプルの勾配ノルム(GNS)に基づいてSAM最適化に有用なデータポイントのサブセットを確率的にサンプリングする。さらに、SAMにおける摂動前後の損失値の差により、GNSを近似する。プラグ・アンド・プレイのアーキテクチャに依存しない手法として,本手法はSAMを様々なタスクやネットワーク,例えば分類,人間のポーズ推定,ネットワーク量子化などにわたって連続的に高速化する。 CIFAR10/100とTiny-ImageNetでは、AUSAMはSAMに匹敵する結果を達成し、70%以上のスピードアップを提供する。最近の動的データプルーニング法と比較して、AUSAMはSAMに適しており、性能の維持に優れている。さらに、AUSAMは、性能を犠牲にすることなく、人間のポーズ推定とモデル量子化の最適化を加速し、その幅広い実用性を示す。

関連論文リスト

Friendly Sharpness-Aware Minimization [62.57515991835801]
シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
論文参考訳（メタデータ） (2024-03-19T01:39:33Z)
Momentum-SAM: Sharpness Aware Minimization without Computational Overhead [0.6577148087211809]
本稿では,蓄積された運動量ベクトルの方向にパラメータを摂動させ,計算オーバーヘッドやメモリ要求を伴わずに低シャープ性を実現するMomentum-SAMを提案する。我々は、MSAMを詳細に評価し、NAG、SAM、MSAMの分離可能なメカニズムの学習最適化と一般化に関する知見を明らかにする。
論文参考訳（メタデータ） (2024-01-22T15:19:18Z)
Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy [12.927965934262847]
シャープネス・アウェア(SAM)を用いたニューラルネットワークのトレーニングは非常に不安定である。そこで我々は、StableSAMと呼ばれる単純な再正規化戦略を提案し、従順勾配のノルムが正確な勾配のノルムを維持する。本稿は,StableSAMが学習率のこの仕組みをどのように拡張し,SAMを微調整で一貫した性能を実現できるかを示す。
論文参考訳（メタデータ） (2024-01-14T10:53:36Z)
Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文参考訳（メタデータ） (2023-06-30T09:33:41Z)
An Adaptive Policy to Employ Sharpness-Aware Minimization [5.5347134457499845]
シャープネス対応最小化 (SAM) は, min-max 最適化により平坦な最小値を求める。最近の最先端技術はSAM更新の割合を減らしている。 AE-SAMとAE-LookSAMという2つの効率的なアルゴリズムが提案されている。
論文参考訳（メタデータ） (2023-04-28T06:23:32Z)
AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
論文参考訳（メタデータ） (2023-03-01T15:12:42Z)
Improved Deep Neural Network Generalization Using m-Sharpness-Aware Minimization [14.40189851070842]
シャープネス・アウェア最小化(SAM)は、基礎となる損失関数を修正し、フラットなミニマへ導出する方法を導出する。近年の研究ではmSAMがSAMよりも精度が高いことが示唆されている。本稿では,様々なタスクやデータセットにおけるmSAMの包括的評価について述べる。
論文参考訳（メタデータ） (2022-12-07T00:37:55Z)
Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
論文参考訳（メタデータ） (2022-10-11T06:30:10Z)
Towards Efficient and Scalable Sharpness-Aware Minimization [81.22779501753695]
内部勾配の上昇を周期的に計算する新しいアルゴリズム LookSAM を提案する。 LookSAMはSAMと同じような精度を実現し、非常に高速である。 Vision Transformer(ViTs)のトレーニングでバッチサイズのスケールアップに成功したのは,私たちが初めてです。
論文参考訳（メタデータ） (2022-03-05T11:53:37Z)
Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
論文参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。