論文の概要: Improved Adversarial Training via Learned Optimizer

• arxiv url: http://arxiv.org/abs/2004.12227v1
• Date: Sat, 25 Apr 2020 20:15:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 21:34:04.393785
• Title: Improved Adversarial Training via Learned Optimizer
• Title（参考訳）: 学習最適化による対人訓練の改善
• Authors: Yuanhao Xiong and Cho-Jui Hsieh
• Abstract要約: 対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。 共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
• 参考スコア（独自算出の注目度）: 101.38877975769198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial attack has recently become a tremendous threat to deep learning models. To improve the robustness of machine learning models, adversarial training, formulated as a minimax optimization problem, has been recognized as one of the most effective defense mechanisms. However, the non-convex and non-concave property poses a great challenge to the minimax training. In this paper, we empirically demonstrate that the commonly used PGD attack may not be optimal for inner maximization, and improved inner optimizer can lead to a more robust model. Then we leverage a learning-to-learn (L2L) framework to train an optimizer with recurrent neural networks, providing update directions and steps adaptively for the inner problem. By co-training optimizer's parameters and model's weights, the proposed framework consistently improves the model robustness over PGD-based adversarial training and TRADES.
• Abstract（参考訳）: 敵対的攻撃は近年、ディープラーニングモデルにとって大きな脅威となっている。 機械学習モデルの堅牢性を改善するため、最小限の最適化問題として定式化された敵の訓練は、最も効果的な防御機構の1つとして認識されている。 しかし、非凸性および非凹性はミニマックストレーニングに大きな課題をもたらす。 本稿では,一般的に使用されるpgd攻撃が内部最大化に最適ではないことを実証し,改良した内部最適化器によりより堅牢なモデルが実現できることを示す。 次に,学習-学習(l2l)フレームワークを活用して,反復型ニューラルネットワークを用いたオプティマイザのトレーニングを行い,内部問題に対する更新方向とステップを適応的に提供する。 最適化器のパラメータとモデルの重みを協調訓練することにより、提案フレームワークはPGDベースの対角訓練とTRADESよりもモデルロバスト性を一貫して改善する。

関連論文リスト

• Dynamic Label Adversarial Training for Deep Learning Robustness Against Adversarial Attacks [11.389689242531327]
  対人訓練は、モデルの堅牢性を高める最も効果的な方法の1つである。 従来のアプローチでは、主に敵の訓練に静的接地真理を用いるが、しばしば強固なオーバーフィッティングを引き起こす。 本稿では,動的ラベル対逆トレーニング(DYNAT)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-23T14:25:12Z)
• Robustness-Congruent Adversarial Training for Secure Machine Learning Model Updates [13.911586916369108]
  機械学習モデルにおける誤分類は、敵の例に対して堅牢性に影響を及ぼす可能性があることを示す。 この問題に対処するために,ロバストネス・コングロレント・逆行訓練という手法を提案する。 我々のアルゴリズムと、より一般的には、非回帰的制約で学習することは、一貫した推定器を訓練するための理論的に基底的なフレームワークを提供することを示す。
  論文  参考訳（メタデータ） (2024-02-27T10:37:13Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Efficient Robust Training via Backward Smoothing [125.91185167854262]
  敵の訓練は敵の例に対抗して最も効果的な戦略である。 トレーニングの各ステップにおける反復的な敵攻撃により、高い計算コストに悩まされる。 近年の研究では、単一段階攻撃を行うことで、高速な対人訓練が可能であることが示されている。
  論文  参考訳（メタデータ） (2020-10-03T04:37:33Z)
• Learning to Learn from Mistakes: Robust Optimization for Adversarial Noise [1.976652238476722]
  我々はメタ最適化器を訓練し、敵対的な例を使ってモデルを堅牢に最適化することを学び、学習した知識を新しいモデルに転送することができる。 実験の結果、メタ最適化は異なるアーキテクチャやデータセット間で一貫性があることが示され、敵の脆弱性を自動的にパッチすることができることが示唆された。
  論文  参考訳（メタデータ） (2020-08-12T11:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。