論文の概要: Improving the Robustness/Accuracy Tradeoff Against Adversarial Attacks Using Information Bottleneck Distillation Through Dual Teachers

• arxiv url: http://arxiv.org/abs/2607.27737v1
• Date: Thu, 30 Jul 2026 06:20:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.422061
• Title: Improving the Robustness/Accuracy Tradeoff Against Adversarial Attacks Using Information Bottleneck Distillation Through Dual Teachers
• Title（参考訳）: 対人教師によるインフォメーションボトルネック蒸留による対人攻撃に対するロバスト性/精度トレードオフの改善
• Abstract要約: 本研究では, クリーン入力のみを訓練した教師モデル(クリーン教師)を, 対人訓練で訓練した頑健な教師モデルから蒸留プロセスに導入する。 クリーンでロバストな教師の特徴は、多層アテンションマトリックスを通じて学生に伝達される。 提案手法は,最近開発されたB-MTARDを含む最先端の手法と競合する。
• 参考スコア（独自算出の注目度）: 0.34998703934432673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have achieved remarkable success in classical machine learning problems. However, they are known to be vulnerable to adversarial attacks. Countermeasures proposed in the literature, notably Information Bottleneck Distillation (IBD) introduced by Kuang et al., degrade the classification accuracy on clean inputs while improving the robustness to adversarial inputs. In this work, we extend the IBD framework by introducing an extra teacher model (clean teacher) trained with only clean inputs, into the distillation process from a robust teacher model trained by adversarial training. The features of both clean and robust teachers are transferred to the student through a cross-layer attention matrix. Experimental results on the CIFAR-10 and CIFAR-100 datasets show that the proposed method improves classification accuracy on clean samples compared to the original IBD, while maintaining similar accuracy on adversarial samples. Furthermore, our methods are competitive with state-of-the-art approaches, including the recent dual-teacher distillation framework B-MTARD, particularly in terms of the harmonic mean between clean and robust accuracy. We also analyze the impact of different training settings that have different influences on the attention module.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、古典的な機械学習問題において顕著な成功を収めた。 しかし、敵の攻撃に弱いことが知られている。 文献、特にKuangらによって導入されたIBD(Information Bottleneck Distillation)は、クリーン入力に対する分類精度を低下させ、敵入力に対する堅牢性を改善した。 本研究では, クリーン入力のみを訓練した教師モデル(クリーン教師)を, 対人訓練で訓練した頑健な教師モデルから蒸留プロセスに導入することにより, IBDフレームワークを拡張した。 クリーンでロバストな教師の特徴は、多層アテンションマトリックスを通じて学生に伝達される。 CIFAR-10 と CIFAR-100 データセットによる実験結果から,提案手法は従来の IBD と比較してクリーンサンプルの分類精度を向上し,対向サンプルの類似した精度を維持した。 さらに,本手法は,最近の二段蒸留フレームワークであるB-MTARD(B-MTARD)など,最先端の手法と競合する。 また、アテンションモジュールに異なる影響を与える異なるトレーニング設定の影響を分析する。

関連論文リスト

• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Deep Positive-Negative Prototypes for Adversarially Robust Discriminative Prototypical Learning [0.24999074238880484]
  本稿では,Adv-DPNP(Adversarially Training Deep Positive-Negative Prototypes)という新しいフレームワークを提案する。 Adv-DPNPは、差別的プロトタイプベースの学習と敵対訓練を統合している。 以上の結果から,Adv-DPNPは重大度および汚職種別の平均精度が最も高いことを示す。
  論文  参考訳（メタデータ） (2025-04-03T15:42:58Z)
• Dynamic Guidance Adversarial Distillation with Enhanced Teacher Knowledge [17.382306203152943]
  Dynamic Guidance Adversarial Distillation (DGAD) フレームワークは、差分サンプルの重要性の課題に取り組む。 DGADは蒸留焦点を動的に調整するためにミスクラス化認識分割(MAP)を使用している。 Error-corrective Label Swapping (ELS) は、クリーン入力と逆入力の両方で教師の誤分類を補正する。
  論文  参考訳（メタデータ） (2024-09-03T05:52:37Z)
• Mitigating Accuracy-Robustness Trade-off via Balanced Multi-Teacher Adversarial Distillation [12.39860047886679]
  敵対的トレーニングは、敵対的攻撃に対するディープニューラルネットワークの堅牢性を改善するための実践的なアプローチである。 本稿では,B-MTARD(Ba balanced Multi-Teacher Adversarial Robustness Distillation)を導入する。 B-MTARDは、様々な敵攻撃に対して最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-06-28T12:47:01Z)
• Blending adversarial training and representation-conditional purification via aggregation improves adversarial robustness [6.484231366444063]
  CARSOは、防御のために考案された適応的なエンドツーエンドのホワイトボックス攻撃から自身を守ることができる。 提案手法は,Cifar-10,Cifar-100,TinyImageNet-200の最先端技術により改善されている。
  論文  参考訳（メタデータ） (2023-05-25T09:04:31Z)
• Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training [2.538209532048867]
  本稿では,新たなニューラルネットワークトレーニングフレームワークを提案する。 本稿では,データ拡張と対向的摂動の両面に一貫性のある特徴表現を学習することで,敵攻撃に対するモデルロバスト性を改善することを提案する。 我々は,CIFAR-10データセットを用いて,教師付きおよび自己教師付き対向学習法よりも頑健な精度とクリーンな精度を両立させる手法を検証する。
  論文  参考訳（メタデータ） (2022-03-16T21:41:27Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Robust and Accurate Object Detection via Self-Knowledge Distillation [9.508466066051572]
  Unified Decoupled Feature Alignment (UDFA)は、既存のメソッドよりも優れたパフォーマンスを実現する新しい微調整パラダイムである。 UDFAは、対象検出のための標準的な訓練方法や最先端の訓練方法を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-11-14T04:40:15Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• Adversarial Robustness on In- and Out-Distribution Improves Explainability [109.68938066821246]
  RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。 RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
  論文  参考訳（メタデータ） (2020-03-20T18:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。