論文の概要: Revisiting Outer Optimization in Adversarial Training
- arxiv url: http://arxiv.org/abs/2209.01199v1
- Date: Fri, 2 Sep 2022 17:50:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-05 12:43:37.847214
- Title: Revisiting Outer Optimization in Adversarial Training
- Title（参考訳）: 対向訓練における外的最適化の再検討
- Authors: Ali Dabouei, Fariborz Taherkhani, Sobhan Soleymani, Nasser M.
Nasrabadi
- Abstract要約: 対角法と自然訓練法(AT法)は一般に、外的最適化のために運動量SGD(MSGD)を採用する。
本稿では,各入力例から平均ミニバッチ勾配への寄与を正規化する ENGM という最適化手法を提案する。
CIFAR-10, CIFAR-100, TinyImageNetの評価とアブレーション実験により, ENGMとその変異体は広範囲のAT法の性能を一貫して改善することを示した。
- 参考スコア（独自算出の注目度）: 36.264540916051125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the fundamental distinction between adversarial and natural training
(AT and NT), AT methods generally adopt momentum SGD (MSGD) for the outer
optimization. This paper aims to analyze this choice by investigating the
overlooked role of outer optimization in AT. Our exploratory evaluations reveal
that AT induces higher gradient norm and variance compared to NT. This
phenomenon hinders the outer optimization in AT since the convergence rate of
MSGD is highly dependent on the variance of the gradients. To this end, we
propose an optimization method called ENGM which regularizes the contribution
of each input example to the average mini-batch gradients. We prove that the
convergence rate of ENGM is independent of the variance of the gradients, and
thus, it is suitable for AT. We introduce a trick to reduce the computational
cost of ENGM using empirical observations on the correlation between the norm
of gradients w.r.t. the network parameters and input examples. Our extensive
evaluations and ablation studies on CIFAR-10, CIFAR-100, and TinyImageNet
demonstrate that ENGM and its variants consistently improve the performance of
a wide range of AT methods. Furthermore, ENGM alleviates major shortcomings of
AT including robust overfitting and high sensitivity to hyperparameter
settings.
- Abstract（参考訳）: 対角法と自然訓練法(ATとNT)の根本的な違いにもかかわらず、AT法は一般に外部最適化に運動量SGD(MSGD)を採用する。
本稿は,ATにおける外部最適化の役割を概観して,この選択を解析することを目的とする。
調査の結果,ATはNTに比べて高勾配ノルムと分散を誘導することがわかった。
この現象は、MSGDの収束速度が勾配の分散に大きく依存するため、ATの外部最適化を妨げる。
そこで本研究では,各入力例から平均ミニバッチ勾配への寄与を正規化する ENGM という最適化手法を提案する。
我々は,engmの収束率は勾配の分散とは独立であり,したがってatに適していることを証明した。
本稿では,ネットワークパラメータの勾配のノルムと入力例との相関に関する経験的観測を用いて,ENGMの計算コストを削減する手法を提案する。
CIFAR-10, CIFAR-100, TinyImageNetの広範囲な評価とアブレーション研究により, ENGMとその変種は広範囲のAT法の性能を一貫して改善することを示した。
さらに、ENGMは、頑丈なオーバーフィッティングとハイパーパラメータ設定に対する高い感度を含むATの大きな欠点を軽減する。
関連論文リスト
- Signal Processing Meets SGD: From Momentum to Filter [6.751292200515353]
ディープラーニングでは、勾配降下(SGD)とその運動量に基づく変種が最適化に広く利用されている。
本稿では,一般化を犠牲にすることなく,SGDの収束を高速化する新しい最適化手法を提案する。
論文 参考訳（メタデータ） (2023-11-06T01:41:46Z) - Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳（メタデータ） (2023-10-30T18:43:21Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳（メタデータ） (2023-10-11T10:21:34Z) - Enhancing Generalization of Universal Adversarial Perturbation through
Gradient Aggregation [40.18851174642427]
深部ニューラルネットワークは普遍的逆境摂動(UAP)に脆弱である
本稿では,一般化の観点から,UAP生成手法の真剣なジレンマについて検討する。
グラディエント・アグリゲーション(SGA)と呼ばれるシンプルで効果的な手法を提案する。
SGAは勾配の消失を緩和し、局所最適度の低下から同時に逃れる。
論文 参考訳（メタデータ） (2023-08-11T08:44:58Z) - SING: A Plug-and-Play DNN Learning Technique [25.563053353709627]
我々は,Adam(W)の安定性とロバスト性を向上させるプラグアンドプレイ技術であるSING(StabIlized and Normalized Gradient)を提案する。
SINGは実装が簡単で、最小限の計算オーバーヘッドを持ち、Adam(W)に供給される勾配の層単位での標準化しか必要としない。
論文 参考訳（メタデータ） (2023-05-25T12:39:45Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳（メタデータ） (2022-10-08T08:26:22Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - On the SDEs and Scaling Rules for Adaptive Gradient Algorithms [45.007261870784475]
微分方程式(SDE)としての勾配 Descent (SGD) の適用により、研究者は連続的な最適化軌道の研究の利点を享受できるようになった。
本稿では、RMSpropとAdamのSDE近似を導出し、理論上の正確性を保証するとともに、それらの適用性を検証する。
論文 参考訳（メタデータ） (2022-05-20T16:39:03Z) - Low-Pass Filtering SGD for Recovering Flat Optima in the Deep Learning
Optimization Landscape [15.362190838843915]
LPF-SGD は SGD よりも小さい一般化誤差でより良い最適点に収束することを示す。
本稿では,一般的なDLトレーニング手法と比較して,アルゴリズムが優れた一般化性能を実現することを示す。
論文 参考訳（メタデータ） (2022-01-20T07:13:04Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳（メタデータ） (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。