論文の概要: Mitigating the Accuracy-Robustness Trade-off via Multi-Teacher
Adversarial Distillation
- arxiv url: http://arxiv.org/abs/2306.16170v2
- Date: Tue, 11 Jul 2023 12:46:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 18:01:08.310813
- Title: Mitigating the Accuracy-Robustness Trade-off via Multi-Teacher
Adversarial Distillation
- Title(参考訳): マルチテラー逆蒸留による精度・ロバスト性トレードオフの緩和
- Authors: Shiji Zhao, Xizhe Wang, Xingxing Wei
- Abstract要約: 敵対的トレーニングは、敵対的攻撃に対するディープニューラルネットワークの堅牢性を改善するための実践的なアプローチである。
本稿では, MTARD (Multi-Teacher Adversarial Robustness Distillation) を導入する。
公開データセットで行った実験は、MTARDが様々な敵攻撃に対して最先端の敵の訓練と蒸留法より優れていることを示した。
- 参考スコア(独自算出の注目度): 8.848895036534769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training is a practical approach for improving the robustness of
deep neural networks against adversarial attacks. Although bringing reliable
robustness, the performance toward clean examples is negatively affected after
adversarial training, which means a trade-off exists between accuracy and
robustness. Recently, some studies have tried to use knowledge distillation
methods in adversarial training, achieving competitive performance in improving
the robustness but the accuracy for clean samples is still limited. In this
paper, to mitigate the accuracy-robustness trade-off, we introduce the
Multi-Teacher Adversarial Robustness Distillation (MTARD) to guide the model's
adversarial training process by applying a strong clean teacher and a strong
robust teacher to handle the clean examples and adversarial examples,
respectively. During the optimization process, to ensure that different
teachers show similar knowledge scales, we design the Entropy-Based Balance
algorithm to adjust the teacher's temperature and keep the teachers'
information entropy consistent. Besides, to ensure that the student has a
relatively consistent learning speed from multiple teachers, we propose the
Normalization Loss Balance algorithm to adjust the learning weights of
different types of knowledge. A series of experiments conducted on public
datasets demonstrate that MTARD outperforms the state-of-the-art adversarial
training and distillation methods against various adversarial attacks.
- Abstract(参考訳): 敵対的トレーニングは、敵対的攻撃に対するディープニューラルネットワークの堅牢性を改善するための実践的なアプローチである。
信頼性の高いロバスト性をもたらすが、クリーンな例に対する性能は敵の訓練後に負の影響を受ける。
近年, 対人訓練に知識蒸留法を応用し, 堅牢性向上に競争力を発揮する研究も行われているが, 清浄な試料の精度はいまだに限られている。
本稿では, 高いクリーンな教師と強いロバストな教師を用いて, クリーンな事例と敵対的な事例をそれぞれ扱うことで, モデルの逆トレーニングプロセスの指導を行うマルチTeacher Adversarial Robustness Distillation (MTARD)を導入する。
最適化の過程では,異なる教師が同様の知識尺度を示すことを保証するために,教師の温度を調整し,教師の情報エントロピーを一定に保つエントロピーベースバランスアルゴリズムを設計する。
また,生徒が複数の教師から比較的一貫した学習速度を持つことを保証するため,異なる種類の知識の学習重みを調整できる正規化損失バランスアルゴリズムを提案する。
公開データセット上で行われた一連の実験は、MTARDが様々な敵攻撃に対して最先端の敵の訓練と蒸留法より優れていることを示した。
関連論文リスト
- Perturbation-Invariant Adversarial Training for Neural Ranking Models:
Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
正統な文書に不可避な摂動を加えることで 敵の例を作れます
この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。
本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
論文 参考訳(メタデータ) (2023-12-16T05:38:39Z) - Class Incremental Learning for Adversarial Robustness [17.06592851567578]
アドリラルトレーニングは、モデルトレーニング中の敵の例を統合して、堅牢性を高める。
直感的な対人訓練と漸進的な学習を組み合わせることで、頑健さが失われることが容易に分かる。
本稿では, 対向型とクリーン型との出力差を生かしたFPD損失を提案する。
論文 参考訳(メタデータ) (2023-12-06T04:38:02Z) - Faithful Knowledge Distillation [75.59907631395849]
i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。
これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
論文 参考訳(メタデータ) (2023-06-07T13:41:55Z) - Adam: Dense Retrieval Distillation with Adaptive Dark Examples [95.37231364330657]
本稿では,教師が持つ暗黒知識を適応暗黒エクストリームで伝達する知識蒸留フレームワークであるADAMを提案する。
2つの広く利用されているベンチマークで実験を行い、本手法の有効性を検証する。
論文 参考訳(メタデータ) (2022-12-20T12:03:19Z) - Learning Sample Reweighting for Accuracy and Adversarial Robustness [15.591611864928659]
本稿では,クラス条件付きマージンの概念に基づいて,個々のトレーニングサンプルによる損失の軽減を学習する,新たな逆トレーニングフレームワークを提案する。
我々の手法は、関連する手法や最先端のベースラインと比較して、クリーンかつ堅牢な精度を一貫して改善する。
論文 参考訳(メタデータ) (2022-10-20T18:25:11Z) - DAFT: Distilling Adversarially Fine-tuned Models for Better OOD
Generalization [35.53270942633211]
我々は,OOD一般化の課題について考察する。その目的は,トレーニング分布と異なるテスト分布でよく機能するモデルをトレーニングすることである。
我々は,多数のリッチな特徴を逆向きに頑健に組み合わせることで,OODの堅牢性を実現するという直感に基づく新しい手法,DAFTを提案する。
我々は、DomainBedフレームワークの標準ベンチマーク上でDAFTを評価し、DAFTが現在の最先端OOD一般化法よりも大幅に改善できることを実証した。
論文 参考訳(メタデータ) (2022-08-19T03:48:17Z) - Vanilla Feature Distillation for Improving the Accuracy-Robustness
Trade-Off in Adversarial Training [37.5115141623558]
本稿では,Vanilla Feature Distillation Adversarial Training (VFD-Adv)を提案する。
我々の手法の重要な利点は、既存の作品に普遍的に適応し、強化できることである。
論文 参考訳(メタデータ) (2022-06-05T11:57:10Z) - On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。
本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文 参考訳(メタデータ) (2022-03-14T15:02:13Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳(メタデータ) (2020-10-26T04:44:43Z) - Adversarial Robustness on In- and Out-Distribution Improves
Explainability [109.68938066821246]
RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。
RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
論文 参考訳(メタデータ) (2020-03-20T18:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。