論文の概要: Revisiting Outer Optimization in Adversarial Training
- arxiv url: http://arxiv.org/abs/2209.01199v1
- Date: Fri, 2 Sep 2022 17:50:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-05 12:43:37.847214
- Title: Revisiting Outer Optimization in Adversarial Training
- Title（参考訳）: 対向訓練における外的最適化の再検討
- Authors: Ali Dabouei, Fariborz Taherkhani, Sobhan Soleymani, Nasser M.
Nasrabadi
- Abstract要約: 対角法と自然訓練法(AT法)は一般に、外的最適化のために運動量SGD(MSGD)を採用する。
本稿では,各入力例から平均ミニバッチ勾配への寄与を正規化する ENGM という最適化手法を提案する。
CIFAR-10, CIFAR-100, TinyImageNetの評価とアブレーション実験により, ENGMとその変異体は広範囲のAT法の性能を一貫して改善することを示した。
- 参考スコア（独自算出の注目度）: 36.264540916051125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the fundamental distinction between adversarial and natural training
(AT and NT), AT methods generally adopt momentum SGD (MSGD) for the outer
optimization. This paper aims to analyze this choice by investigating the
overlooked role of outer optimization in AT. Our exploratory evaluations reveal
that AT induces higher gradient norm and variance compared to NT. This
phenomenon hinders the outer optimization in AT since the convergence rate of
MSGD is highly dependent on the variance of the gradients. To this end, we
propose an optimization method called ENGM which regularizes the contribution
of each input example to the average mini-batch gradients. We prove that the
convergence rate of ENGM is independent of the variance of the gradients, and
thus, it is suitable for AT. We introduce a trick to reduce the computational
cost of ENGM using empirical observations on the correlation between the norm
of gradients w.r.t. the network parameters and input examples. Our extensive
evaluations and ablation studies on CIFAR-10, CIFAR-100, and TinyImageNet
demonstrate that ENGM and its variants consistently improve the performance of
a wide range of AT methods. Furthermore, ENGM alleviates major shortcomings of
AT including robust overfitting and high sensitivity to hyperparameter
settings.
- Abstract（参考訳）: 対角法と自然訓練法(ATとNT)の根本的な違いにもかかわらず、AT法は一般に外部最適化に運動量SGD(MSGD)を採用する。
本稿は,ATにおける外部最適化の役割を概観して,この選択を解析することを目的とする。
調査の結果,ATはNTに比べて高勾配ノルムと分散を誘導することがわかった。
この現象は、MSGDの収束速度が勾配の分散に大きく依存するため、ATの外部最適化を妨げる。
そこで本研究では,各入力例から平均ミニバッチ勾配への寄与を正規化する ENGM という最適化手法を提案する。
我々は,engmの収束率は勾配の分散とは独立であり,したがってatに適していることを証明した。
本稿では,ネットワークパラメータの勾配のノルムと入力例との相関に関する経験的観測を用いて,ENGMの計算コストを削減する手法を提案する。
CIFAR-10, CIFAR-100, TinyImageNetの広範囲な評価とアブレーション研究により, ENGMとその変種は広範囲のAT法の性能を一貫して改善することを示した。
さらに、ENGMは、頑丈なオーバーフィッティングとハイパーパラメータ設定に対する高い感度を含むATの大きな欠点を軽減する。
関連論文リスト
- Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳（メタデータ） (2022-10-08T08:26:22Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - On the SDEs and Scaling Rules for Adaptive Gradient Algorithms [33.447546115621364]
微分方程式(SDE)としての勾配 Descent (SGD) の適用により、研究者は連続的な最適化軌道の研究の利点を享受できるようになった。
本稿では、RMSpropとAdamのSDE近似を導出し、理論上の正確性を保証するとともに、それらの適用性を検証する。
論文 参考訳（メタデータ） (2022-05-20T16:39:03Z) - Low-Pass Filtering SGD for Recovering Flat Optima in the Deep Learning
Optimization Landscape [15.362190838843915]
LPF-SGD は SGD よりも小さい一般化誤差でより良い最適点に収束することを示す。
本稿では,一般的なDLトレーニング手法と比較して,アルゴリズムが優れた一般化性能を実現することを示す。
論文 参考訳（メタデータ） (2022-01-20T07:13:04Z) - Stochastic Optimization of Area Under Precision-Recall Curve for Deep
Learning with Provable Convergence [76.97121211622905]
ROC(AUROC)および精密リコール曲線(AUPRC)の下の領域は、不均衡問題の分類性能を評価する一般的な指標です。
高度に不均衡なデータセットに対して,より適切な指標としてAUPRCを提案する。
我々のアプローチは、ディープラーニングのためのAUPRCの偏りのない点である平均精度(AP)を最大化することに基づいている。
論文 参考訳（メタデータ） (2021-04-18T06:22:21Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - On the Convergence of SGD with Biased Gradients [28.400751656818215]
偏り勾配法 (SGD) の導出領域を解析し, 個々の更新を圧縮によって劣化させる。
偏差精度と収束率の影響の程度を定量化する。
論文 参考訳（メタデータ） (2020-07-31T19:37:59Z) - The Strength of Nesterov's Extrapolation in the Individual Convergence
of Nonsmooth Optimization [0.0]
ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。
提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。
本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
論文 参考訳（メタデータ） (2020-06-08T03:35:41Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳（メタデータ） (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。