論文の概要: Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better

• arxiv url: http://arxiv.org/abs/2108.07969v1
• Date: Wed, 18 Aug 2021 04:32:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 22:52:49.955944
• Title: Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better
• Title（参考訳）: 逆行性ロバスト性蒸留の再検討:ロバストなソフトラベルは学生を良くする
• Authors: Bojia Zi, Shihao Zhao, Xingjun Ma, Yu-Gang Jiang
• Abstract要約: 本稿では,ロバスト軟ラベル蒸留法(RSLAD)と呼ばれる新しい対向ロバスト蒸留法を提案する。 RSLADは、学生の学習をガイドするために、頑健な(逆向きに訓練された)大きな教師モデルによって生成される頑健なソフトラベルを完全に活用する。 我々は,既存の逆行訓練および蒸留法に対するRSLADアプローチの有効性を実証的に実証した。
• 参考スコア（独自算出の注目度）: 66.69777970159558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training is one effective approach for training robust deep neural networks against adversarial attacks. While being able to bring reliable robustness, adversarial training (AT) methods in general favor high capacity models, i.e., the larger the model the better the robustness. This tends to limit their effectiveness on small models, which are more preferable in scenarios where storage or computing resources are very limited (e.g., mobile devices). In this paper, we leverage the concept of knowledge distillation to improve the robustness of small models by distilling from adversarially trained large models. We first revisit several state-of-the-art AT methods from a distillation perspective and identify one common technique that can lead to improved robustness: the use of robust soft labels -- predictions of a robust model. Following this observation, we propose a novel adversarial robustness distillation method called Robust Soft Label Adversarial Distillation (RSLAD) to train robust small student models. RSLAD fully exploits the robust soft labels produced by a robust (adversarially-trained) large teacher model to guide the student's learning on both natural and adversarial examples in all loss terms. We empirically demonstrate the effectiveness of our RSLAD approach over existing adversarial training and distillation methods in improving the robustness of small models against state-of-the-art attacks including the AutoAttack. We also provide a set of understandings on our RSLAD and the importance of robust soft labels for adversarial robustness distillation.
• Abstract（参考訳）: 敵のトレーニングは、敵の攻撃に対して堅牢なディープニューラルネットワークをトレーニングするための効果的なアプローチである。 信頼性の高いロバスト性を実現することができる一方で、一般的には、敵対的トレーニング(adversarial training、at)の手法は、モデルが大きいほどロバスト性が向上する高容量モデルを好む。 これは、ストレージやコンピューティングリソースが非常に限定された(モバイルデバイスなど)シナリオでより好まれる小さなモデルでの有効性を制限する傾向がある。 本稿では, 知識蒸留の概念を活用して, 敵対的に訓練された大規模モデルから蒸留することで, 小型モデルの堅牢性を向上する。 まず、蒸留の観点からいくつかの最先端AT手法を再検討し、ロバスト性を改善するための1つの一般的なテクニックを特定します。 そこで,本研究では,ロバスト・ソフトラベル・アドバーサリアン蒸留法(rslad)と呼ばれる,ロバストな小学生モデルの訓練法を提案する。 RSLADは、頑健な(逆行訓練された)大きな教師モデルによって生成される頑健なソフトラベルをフル活用し、全ての損失項における自然例と逆行例の学習を指導する。 本稿は,AutoAttackを含む最先端攻撃に対する小型モデルのロバスト性向上に向け,既存の逆行訓練および蒸留法に対するRSLADアプローチの有効性を実証的に実証する。 また,RSLADに関する一連の理解と,対向ロバストネス蒸留におけるロバストなソフトラベルの重要性について述べる。

関連論文リスト

• Dynamic Label Adversarial Training for Deep Learning Robustness Against Adversarial Attacks [11.389689242531327]
  対人訓練は、モデルの堅牢性を高める最も効果的な方法の1つである。 従来のアプローチでは、主に敵の訓練に静的接地真理を用いるが、しばしば強固なオーバーフィッティングを引き起こす。 本稿では,動的ラベル対逆トレーニング(DYNAT)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-23T14:25:12Z)
• Annealing Self-Distillation Rectification Improves Adversarial Training [0.10241134756773226]
  我々は、ロバストモデルの特徴を分析し、ロバストモデルがよりスムーズでよく校正された出力を生成する傾向があることを特定する。 より優れた誘導機構としてソフトラベルを生成するアニーリング自己蒸留法を提案する。 我々は、広範囲な実験とデータセット間の強力なパフォーマンスを通して、ADRの有効性を実証する。
  論文  参考訳（メタデータ） (2023-05-20T06:35:43Z)
• Adversarial Contrastive Distillation with Adaptive Denoising [15.119013995045192]
  小型モデルのロバスト性を高めるために, コントラスト相関脱ノイズ蒸留法 (CRDND) を提案する。 CRDNDは、堅牢な知識を効率的に伝達し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-02-17T09:00:18Z)
• Mutual Adversarial Training: Learning together is better than going alone [82.78852509965547]
  モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。 本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。 MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
  論文  参考訳（メタデータ） (2021-12-09T15:59:42Z)
• Analysis and Applications of Class-wise Robustness in Adversarial Training [92.08430396614273]
  敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。 従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。 MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。 対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
  論文  参考訳（メタデータ） (2021-05-29T07:28:35Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。