論文の概要: Adversarial Training via Adaptive Knowledge Amalgamation of an Ensemble of Teachers

• arxiv url: http://arxiv.org/abs/2405.13324v1
• Date: Wed, 22 May 2024 03:47:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 01:24:25.653241
• Title: Adversarial Training via Adaptive Knowledge Amalgamation of an Ensemble of Teachers
• Title（参考訳）: 教師の集まりの適応的知識の融合による対人訓練
• Authors: Shayan Mohajer Hamidi, Linfeng Ye,
• Abstract要約: Adversarial Training (AT)は、強力なディープニューラルネットワーク(DNN)を敵の攻撃に対して訓練する一般的な方法である。 本稿では,教師のアンサンブル(AT-aka)のアダプティブ・ナレッジ・アマルガメーションによる対人訓練について紹介する。 特に,教師のアンサンブルへの入力として多種多様な対人サンプルを生成し,これらの教師の対物関係を適応化し,汎用的なローバストな生徒を訓練する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training (AT) is a popular method for training robust deep neural networks (DNNs) against adversarial attacks. Yet, AT suffers from two shortcomings: (i) the robustness of DNNs trained by AT is highly intertwined with the size of the DNNs, posing challenges in achieving robustness in smaller models; and (ii) the adversarial samples employed during the AT process exhibit poor generalization, leaving DNNs vulnerable to unforeseen attack types. To address these dual challenges, this paper introduces adversarial training via adaptive knowledge amalgamation of an ensemble of teachers (AT-AKA). In particular, we generate a diverse set of adversarial samples as the inputs to an ensemble of teachers; and then, we adaptively amalgamate the logtis of these teachers to train a generalized-robust student. Through comprehensive experiments, we illustrate the superior efficacy of AT-AKA over existing AT methods and adversarial robustness distillation techniques against cutting-edge attacks, including AutoAttack.
• Abstract（参考訳）: Adversarial Training (AT)は、強力なディープニューラルネットワーク(DNN)を敵の攻撃に対して訓練する一般的な方法である。 しかし、ATは2つの欠点に悩まされている。 (i)ATが訓練したDNNのロバスト性は、DNNのサイズと密接に絡み合っており、小型モデルでロバスト性を達成する上での課題を提起している。 (II)ATプロセスで使用した敵のサンプルは、DNNが予期せぬ攻撃タイプに弱いままで、一般化が不十分である。 これら2つの課題に対処するために,教師のアンサンブル(AT-AKA)の適応的知識アマルガメーションによる対人訓練を提案する。 特に,教師のアンサンブルへの入力として多種多様な対人サンプルを生成し,これらの教師の対数と適応的にアマルガメートして,一般の難解な生徒を訓練する。 包括的実験を通じて,既存のAT法よりもAT-AKAが優れていること,およびオートアタックを含む最先端攻撃に対する対向ロバストネス蒸留技術について述べる。

関連論文リスト

• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization [9.686724616328874]
  対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。 強靭性は特定の段階で急激に低下し、常にATの間に存在する。 半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
  論文  参考訳（メタデータ） (2022-05-24T03:18:43Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Exploring Adversarially Robust Training for Unsupervised Domain Adaptation [71.94264837503135]
  Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。 本稿では、UDAのドメイン不変性を学習しながら、ATを介してラベルなしデータのロバスト性を高める方法について検討する。 本稿では,ARTUDA と呼ばれる UDA の適応的ロバストトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-02-18T17:05:19Z)
• Universal Adversarial Training with Class-Wise Perturbations [78.05383266222285]
  敵の訓練は 敵の攻撃を防御するために 最も広く使われる方法です この作業では、UAPがすべてのクラスを等しく攻撃しないことがわかります。 我々は,対人訓練におけるクラスワイドUAPの利用を提案することで,SOTA UATを改善した。
  論文  参考訳（メタデータ） (2021-04-07T09:05:49Z)
• Combating Adversaries with Anti-Adversaries [118.70141983415445]
  特に、我々の層は、逆の層とは反対の方向に入力摂動を生成します。 我々は,我々の階層と名目および頑健に訓練されたモデルを組み合わせることで,我々のアプローチの有効性を検証する。 我々の対向層は、クリーンな精度でコストを伴わずにモデルロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2021-03-26T09:36:59Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。