論文の概要: Improving Adversarial Robustness Through Adaptive Learning-Driven Multi-Teacher Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2507.20996v1
- Date: Mon, 28 Jul 2025 17:08:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:58.218481
- Title: Improving Adversarial Robustness Through Adaptive Learning-Driven Multi-Teacher Knowledge Distillation
- Title（参考訳）: 適応学習駆動型多教師知識蒸留による対人ロバスト性の向上
- Authors: Hayat Ullah, Syed Muhammad Talha Zaidi, Arslan Munir,
- Abstract要約: 畳み込みニューラルネットワーク(CNN)はコンピュータビジョンに優れるが、敵の攻撃を受けやすい。
対人訓練の進歩にもかかわらず、モデルの精度と堅牢性の間にギャップは持続する。
適応学習戦略を用いた多教師対人ロバストネス蒸留法を提案する。
- 参考スコア（独自算出の注目度）: 1.8609604872307923
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional neural networks (CNNs) excel in computer vision but are susceptible to adversarial attacks, crafted perturbations designed to mislead predictions. Despite advances in adversarial training, a gap persists between model accuracy and robustness. To mitigate this issue, in this paper, we present a multi-teacher adversarial robustness distillation using an adaptive learning strategy. Specifically, our proposed method first trained multiple clones of a baseline CNN model using an adversarial training strategy on a pool of perturbed data acquired through different adversarial attacks. Once trained, these adversarially trained models are used as teacher models to supervise the learning of a student model on clean data using multi-teacher knowledge distillation. To ensure an effective robustness distillation, we design an adaptive learning strategy that controls the knowledge contribution of each model by assigning weights as per their prediction precision. Distilling knowledge from adversarially pre-trained teacher models not only enhances the learning capabilities of the student model but also empowers it with the capacity to withstand different adversarial attacks, despite having no exposure to adversarial data. To verify our claims, we extensively evaluated our proposed method on MNIST-Digits and Fashion-MNIST datasets across diverse experimental settings. The obtained results exhibit the efficacy of our multi-teacher adversarial distillation and adaptive learning strategy, enhancing CNNs' adversarial robustness against various adversarial attacks.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)はコンピュータビジョンに優れているが、予測を誤解させるように設計された摂動である敵の攻撃の影響を受けやすい。
対人訓練の進歩にもかかわらず、モデルの精度と堅牢性の間にギャップは持続する。
この問題を軽減するために,適応学習戦略を用いた多教師対人ロバスト性蒸留法を提案する。
具体的には,異なる攻撃によって得られた摂動データのプール上での対角的トレーニング戦略を用いて,まずベースラインCNNモデルの複数のクローンを訓練する。
学習後は、教師モデルとして、複数の教師による知識蒸留を用いて、クリーンなデータに基づく学生モデルの学習を指導する。
有効ロバスト性蒸留を保証するため,予測精度に応じて重みを割り当てることで,各モデルの知識貢献を制御する適応学習戦略を設計する。
逆行訓練を受けた教師モデルからの知識を希釈することは、生徒モデルの学習能力を高めるだけでなく、逆行データに触れることなく、異なる逆行攻撃に耐える能力も付与する。
そこで本研究では,MNIST-DigitsとFashion-MNISTデータセットに対する提案手法を実験的に検証した。
以上の結果から,CNNの多様な対向攻撃に対する対向的堅牢性を高めるとともに,多教師による対向的蒸留と適応的学習戦略の有効性が示された。
関連論文リスト
- Sustainable Self-evolution Adversarial Training [51.25767996364584]
対戦型防衛モデルのための持続的自己進化支援訓練(SSEAT)フレームワークを提案する。
本研究は,様々な種類の対角的事例から学習を実現するために,連続的な対向防衛パイプラインを導入する。
また,より多様で重要な再学習データを選択するために,逆データ再生モジュールを提案する。
論文 参考訳（メタデータ） (2024-12-03T08:41:11Z) - Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、小さな敵の摂動に対して脆弱である。
トレーニング中のロバストな特徴学習は、ロバスト性を大幅に向上させることができることを示す。
自然的特徴と敵対的特徴を整合させる多目的的手法であるMORELを提案する。
論文 参考訳（メタデータ） (2024-10-02T16:05:03Z) - Mitigating Accuracy-Robustness Trade-off via Balanced Multi-Teacher Adversarial Distillation [12.39860047886679]
敵対的トレーニングは、敵対的攻撃に対するディープニューラルネットワークの堅牢性を改善するための実践的なアプローチである。
本稿では,B-MTARD(Ba balanced Multi-Teacher Adversarial Robustness Distillation)を導入する。
B-MTARDは、様々な敵攻撃に対して最先端の手法より優れている。
論文 参考訳（メタデータ） (2023-06-28T12:47:01Z) - Bayesian Learning with Information Gain Provably Bounds Risk for a
Robust Adversarial Defense [27.545466364906773]
敵攻撃に対して堅牢なディープニューラルネットワークモデルを学習するための新しいアルゴリズムを提案する。
本モデルでは, PGD 攻撃下での対人訓練と Adv-BNN との比較により, 強靭性は20%まで向上した。
論文 参考訳（メタデータ） (2022-12-05T03:26:08Z) - Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。
最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。
我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文 参考訳（メタデータ） (2022-03-18T01:12:18Z) - Learning to Learn Transferable Attack [77.67399621530052]
転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。
本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。
提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
論文 参考訳（メタデータ） (2021-12-10T07:24:21Z) - Mutual Adversarial Training: Learning together is better than going
alone [82.78852509965547]
モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。
本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。
MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
論文 参考訳（メタデータ） (2021-12-09T15:59:42Z) - Understanding the Logit Distributions of Adversarially-Trained Deep
Neural Networks [6.439477789066243]
敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。
敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。
対向性学習に不可欠な3つのロジット特性を同定する。
論文 参考訳（メタデータ） (2021-08-26T19:09:15Z) - Delving into Data: Effectively Substitute Training for Black-box Attack [84.85798059317963]
本稿では,知識盗むプロセスで使用されるデータの分散設計に焦点をあてた,新しい視点代替トレーニングを提案する。
これら2つのモジュールの組み合わせにより、代替モデルとターゲットモデルの一貫性がさらに向上し、敵攻撃の有効性が大幅に向上する。
論文 参考訳（メタデータ） (2021-04-26T07:26:29Z) - Feature Distillation With Guided Adversarial Contrastive Learning [41.28710294669751]
本研究は,教師から生徒へ対人ロバスト性を伝えるためのGACD ( Guided Adversarial Contrastive Distillation) を提案する。
アンカーとして訓練された教師モデルでは,教師に類似した特徴を抽出することが期待されている。
GACDでは、生徒は頑丈な特徴を抽出することを学ぶだけでなく、教師からの構造的知識も取得する。
論文 参考訳（メタデータ） (2020-09-21T14:46:17Z) - Stylized Adversarial Defense [105.88250594033053]
逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。
我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。
我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
論文 参考訳（メタデータ） (2020-07-29T08:38:10Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。