論文の概要: Improving Local Effectiveness for Global robust training

• arxiv url: http://arxiv.org/abs/2110.14030v1
• Date: Tue, 26 Oct 2021 21:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 13:27:18.612539
• Title: Improving Local Effectiveness for Global robust training
• Title（参考訳）: グローバルロバストトレーニングにおける局所的効果の改善
• Authors: Jingyue Lu, M. Pawan Kumar
• Abstract要約: 対戦相手をより効果的に活用できる新しい学習アルゴリズムを提案する。 本手法は, 対戦相手を中心にした各局所球におけるモデルロバスト性を向上する。 局所球に焦点をあてて敵の使用を最大化することにより、弱い敵に対して高いロバストな精度を達成できることを実証する。
• 参考スコア（独自算出の注目度）: 30.065091907118827
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite its popularity, deep neural networks are easily fooled. To alleviate this deficiency, researchers are actively developing new training strategies, which encourage models that are robust to small input perturbations. Several successful robust training methods have been proposed. However, many of them rely on strong adversaries, which can be prohibitively expensive to generate when the input dimension is high and the model structure is complicated. We adopt a new perspective on robustness and propose a novel training algorithm that allows a more effective use of adversaries. Our method improves the model robustness at each local ball centered around an adversary and then, by combining these local balls through a global term, achieves overall robustness. We demonstrate that, by maximizing the use of adversaries via focusing on local balls, we achieve high robust accuracy with weak adversaries. Specifically, our method reaches a similar robust accuracy level to the state of the art approaches trained on strong adversaries on MNIST, CIFAR-10 and CIFAR-100. As a result, the overall training time is reduced. Furthermore, when trained with strong adversaries, our method matches with the current state of the art on MNIST and outperforms them on CIFAR-10 and CIFAR-100.
• Abstract（参考訳）: その人気にもかかわらず、ディープニューラルネットワークは簡単に騙される。 この欠陥を緩和するために、研究者は、小さな入力摂動に対して堅牢なモデルを促進する新しいトレーニング戦略を積極的に開発している。 堅牢な訓練方法がいくつか提案されている。 しかし、それらの多くは強い敵に依存しており、入力次元が高く、モデル構造が複雑である場合には、非常に高価である。 我々は,ロバスト性に対する新しい視点を採用し,敵をより効果的に利用するための新しいトレーニングアルゴリズムを提案する。 本手法は, 敵球を中心にした各局所球のモデルロバスト性を向上し, それらの局所球を大域的に組み合わせることで, 全体ロバスト性を実現する。 我々は,局所球に焦点をあてて敵の利用を最大化することで,弱い敵に対して高いロバストな精度を実現することを実証する。 具体的には,MNIST, CIFAR-10, CIFAR-100において, 強敵に対して訓練した手法と同等の精度に達する。 これにより、全体のトレーニング時間が短縮される。 さらに,強い敵で訓練すると,本手法はMNISTの最先端技術と一致し,CIFAR-10やCIFAR-100よりも優れていた。

関連論文リスト

• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial Training [11.241749205970253]
  トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。 本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
  論文  参考訳（メタデータ） (2021-12-01T09:55:01Z)
• Get Fooled for the Right Reason: Improving Adversarial Robustness through a Teacher-guided Curriculum Learning Approach [17.654350836042813]
  現在のSOTAの頑健なモデルは、主に敵の訓練(AT)に基づいており、内部または外部の最小化ステップにおいてのみ、一部の正規化器によって異なる。 学習中に次のような考え方を強制する非定性的手法を提案する。 提案手法は,既存のATモデルに対して若干の余分な労力(10～20%)を要し,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2021-10-30T17:47:14Z)
• Universal Adversarial Training with Class-Wise Perturbations [78.05383266222285]
  敵の訓練は 敵の攻撃を防御するために 最も広く使われる方法です この作業では、UAPがすべてのクラスを等しく攻撃しないことがわかります。 我々は,対人訓練におけるクラスワイドUAPの利用を提案することで,SOTA UATを改善した。
  論文  参考訳（メタデータ） (2021-04-07T09:05:49Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Bag of Tricks for Adversarial Training [50.53525358778331]
  アドリアリトレーニングは、モデルの堅牢性を促進するための最も効果的な戦略の1つである。 最近のベンチマークでは、提案されたATの改良のほとんどは、単にトレーニング手順を早期に停止するよりも効果が低いことが示されている。
  論文  参考訳（メタデータ） (2020-10-01T15:03:51Z)
• Adversarial Training with Stochastic Weight Average [4.633908654744751]
  ディープニューラルネットワークのアドリヤトレーニングは、しばしば深刻なオーバーフィッティング問題を経験する。 従来の機械学習では、データの不足から過度な適合を緩和する1つの方法は、アンサンブルメソッドを使用することである。 本稿では,重み平均(SWA)を用いた対向訓練を提案する。 対人訓練中に,訓練軌跡の時間的重み状態を集計する。
  論文  参考訳（メタデータ） (2020-09-21T04:47:20Z)
• HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
  ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
  論文  参考訳（メタデータ） (2020-02-24T19:54:53Z)
• Fast is better than free: Revisiting adversarial training [86.11788847990783]
  より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。 我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
  論文  参考訳（メタデータ） (2020-01-12T20:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。