論文の概要: On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them

• arxiv url: http://arxiv.org/abs/2006.08403v2
• Date: Mon, 2 Nov 2020 22:43:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 03:05:22.034616
• Title: On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them
• Title（参考訳）: 敵対的訓練の喪失状況について-課題の特定と克服方法
• Authors: Chen Liu, Mathieu Salzmann, Tao Lin, Ryota Tomioka, Sabine S\"usstrunk
• Abstract要約: 機械学習モデルの損失景観に及ぼす対人訓練の影響を解析する。 曲率の増加と散乱勾配の増大により, 対向損失景観は最適化にはあまり好ましくないことを示す。
• 参考スコア（独自算出の注目度）: 57.957466608543676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We analyze the influence of adversarial training on the loss landscape of machine learning models. To this end, we first provide analytical studies of the properties of adversarial loss functions under different adversarial budgets. We then demonstrate that the adversarial loss landscape is less favorable to optimization, due to increased curvature and more scattered gradients. Our conclusions are validated by numerical analyses, which show that training under large adversarial budgets impede the escape from suboptimal random initialization, cause non-vanishing gradients and make the model find sharper minima. Based on these observations, we show that a periodic adversarial scheduling (PAS) strategy can effectively overcome these challenges, yielding better results than vanilla adversarial training while being much less sensitive to the choice of learning rate.
• Abstract（参考訳）: 本研究は,機械学習モデルのロスランドスケープに及ぼす敵意学習の影響を分析する。 この目的のために,我々はまず,異なる逆予算下での逆損失関数の特性に関する分析研究を行う。 次に, 曲率の増大と散乱勾配の増大により, 対向損失景観は最適化に適さないことを示した。 本研究の結論は,大規模対向予算下でのトレーニングが最適外乱初期化の回避を阻害し,非消滅勾配を生じさせ,モデルがよりシャープな最小値を求めることを示す数値解析によって検証された。 これらの結果から,pas(cyclic adversarial scheduling)戦略がこれらの課題を効果的に克服し,学習率の選択に敏感さを保ちつつ,バニラ逆訓練よりも優れた結果が得られることを示した。

関連論文リスト

• Robust Losses for Decision-Focused Learning [2.9652474178611405]
  決定にフォーカスした学習は、最適下決定を行うことで後悔を最小限に抑えるために予測モデルを訓練することを目的としている。 経験的最適決定は期待された最適決定と大きく異なるため、経験的後悔は非効果的な代理となり得る。 より強固に予測された後悔を近似する3つの新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2023-10-06T15:45:10Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• A Loss Curvature Perspective on Training Instability in Deep Learning [28.70491071044542]
  学習力学における損失の曲率の影響を理解するため,多くの分類課題における損失ヘッセンの進化について検討した。 条件付けの観点から,学習率のウォームアップはバッチ正規化と同じくらいのトレーニング安定性を向上できることを示した。
  論文  参考訳（メタデータ） (2021-10-08T20:25:48Z)
• Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
  コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。 本研究では,コントラスト正規化調律(core-tuning)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T16:31:24Z)
• Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
  我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。 我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
  論文  参考訳（メタデータ） (2020-08-27T18:54:43Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)
• Perturbation Analysis of Gradient-based Adversarial Attacks [2.3016608994689274]
  本稿では,L-BFGS攻撃,反復的高速勾配符号攻撃,Carliini & Wagner's attack (CW) の3つの一般的な例生成手法の目的機能について検討する。 具体的には、ImageNetデータセットに大規模な実験結果を配置しながら、上記の攻撃の根底にある損失関数の比較および形式解析を行う。 実験の結果, 敵の例を生成するのに高速と思われる反復的高速勾配符号攻撃は, 敵の例を作成するのに要する反復回数において最悪の攻撃であることがわかった。
  論文  参考訳（メタデータ） (2020-06-02T08:51:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。