論文の概要: CIARD: Cyclic Iterative Adversarial Robustness Distillation

• arxiv url: http://arxiv.org/abs/2509.12633v1
• Date: Tue, 16 Sep 2025 03:51:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.869886
• Title: CIARD: Cyclic Iterative Adversarial Robustness Distillation
• Title（参考訳）: CIARD: 周期的反復的対向性ロバスト性蒸留
• Authors: Liming Lu, Shuchao Pang, Xu Zheng, Xiang Gu, Anan Du, Yunhuai Liu, Yongbin Zhou,
• Abstract要約: 適応ロバストネス蒸留(ARD)は,教師モデルから生徒モデルへ性能とロバスト性を伝達することを目的としている。 既存のARDアプローチは学生モデルの堅牢性を高めるが、避けられない副産物はクリーンな例で性能を低下させる。 本稿では,2つの重要な革新を伴う循環反復型ARD(CIARD)手法を提案する。
• 参考スコア（独自算出の注目度）: 19.685981220232712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial robustness distillation (ARD) aims to transfer both performance and robustness from teacher model to lightweight student model, enabling resilient performance on resource-constrained scenarios. Though existing ARD approaches enhance student model's robustness, the inevitable by-product leads to the degraded performance on clean examples. We summarize the causes of this problem inherent in existing methods with dual-teacher framework as: 1. The divergent optimization objectives of dual-teacher models, i.e., the clean and robust teachers, impede effective knowledge transfer to the student model, and 2. The iteratively generated adversarial examples during training lead to performance deterioration of the robust teacher model. To address these challenges, we propose a novel Cyclic Iterative ARD (CIARD) method with two key innovations: a. A multi-teacher framework with contrastive push-loss alignment to resolve conflicts in dual-teacher optimization objectives, and b. Continuous adversarial retraining to maintain dynamic teacher robustness against performance degradation from the varying adversarial examples. Extensive experiments on CIFAR-10, CIFAR-100, and Tiny-ImageNet demonstrate that CIARD achieves remarkable performance with an average 3.53 improvement in adversarial defense rates across various attack scenarios and a 5.87 increase in clean sample accuracy, establishing a new benchmark for balancing model robustness and generalization. Our code is available at https://github.com/eminentgu/CIARD
• Abstract（参考訳）: 対物ロバストネス蒸留(ARD)は、教師モデルから軽量の学生モデルへ性能とロバスト性の両方を移行することを目的としており、資源制約のあるシナリオで弾力性のある性能を実現する。 既存のARDアプローチは生徒モデルの堅牢性を高めるが、避けられない副産物はクリーンな例で性能を低下させる。 この問題の原因は, 既存の2元学習者フレームワークの手法に固有のものである。 1. 学生モデルへの効果的な知識移転を妨げる両教師モデル、すなわちクリーンでロバストな教師モデルの分岐最適化目標 2) 学習中に繰り返し発生する逆例は, 頑健な教師モデルの性能劣化を招いた。 これらの課題に対処するため、我々は2つの重要な革新を伴う新しい循環型反復型ARD(CIARD)手法を提案する。 a) 二重教師最適化の目的における対立を解決するために、対照的なプッシュロスアライメントを備えたマルチ教師フレームワーク b) 様々な敵の例から得られる性能劣化に対する動的教師の堅牢性を維持するための連続的敵再訓練 CIFAR-10、CIFAR-100、Tiny-ImageNetの大規模な実験により、CIARDは様々な攻撃シナリオにわたる敵防衛率を平均3.53改善し、クリーンサンプル精度を5.87向上させ、モデルの堅牢性と一般化のバランスをとるための新しいベンチマークを確立した。 私たちのコードはhttps://github.com/eminentgu/CIARDで利用可能です。

関連論文リスト

• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Dynamic Guidance Adversarial Distillation with Enhanced Teacher Knowledge [17.382306203152943]
  Dynamic Guidance Adversarial Distillation (DGAD) フレームワークは、差分サンプルの重要性の課題に取り組む。 DGADは蒸留焦点を動的に調整するためにミスクラス化認識分割(MAP)を使用している。 Error-corrective Label Swapping (ELS) は、クリーン入力と逆入力の両方で教師の誤分類を補正する。
  論文  参考訳（メタデータ） (2024-09-03T05:52:37Z)
• Adversarial Sparse Teacher: Defense Against Distillation-Based Model Stealing Attacks Using Adversarial Examples [2.0257616108612373]
  対人スパース教師 (AST) は蒸留モデル盗難攻撃に対する堅牢な防御方法である。 提案手法は, 逆例を用いて教師モデルを訓練し, スパースロジット応答を生成し, 出力分布のエントロピーを増大させる。
  論文  参考訳（メタデータ） (2024-03-08T09:43:27Z)
• DistiLLM: Towards Streamlined Distillation for Large Language Models [53.46759297929675]
  DistiLLMは自動回帰言語モデルのためのより効率的で効率的なKDフレームワークである。 DisiLLMは,(1)新しいスキューKulback-Leibler分散損失,(2)学生生成出力の効率向上を目的とした適応型オフ政治アプローチの2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2024-02-06T11:10:35Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Adversarial Contrastive Distillation with Adaptive Denoising [15.119013995045192]
  小型モデルのロバスト性を高めるために, コントラスト相関脱ノイズ蒸留法 (CRDND) を提案する。 CRDNDは、堅牢な知識を効率的に伝達し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-02-17T09:00:18Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization [9.686724616328874]
  対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。 強靭性は特定の段階で急激に低下し、常にATの間に存在する。 半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
  論文  参考訳（メタデータ） (2022-05-24T03:18:43Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。