論文の概要: Sample-wise Adaptive Weighting for Transfer Consistency in Adversarial Distillation

• arxiv url: http://arxiv.org/abs/2512.10275v1
• Date: Thu, 11 Dec 2025 04:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.189106
• Title: Sample-wise Adaptive Weighting for Transfer Consistency in Adversarial Distillation
• Title（参考訳）: 対側蒸留における転写整合性に対するサンプルワイド適応重み付け
• Authors: Hongsin Lee, Hye Won Chung,
• Abstract要約: 既存の仕事は、しばしば最先端の堅牢な教師を取り入れることを無視している。 本研究は,教師に対して有効である対人移動可能性(対人移動可能性)を,学生が作成した対人関係の事例のごく一部として同定する。 そこで本研究では, 追加の計算コストを発生させることなく, 測定されたトランスファー可能性によってトレーニング例を再重み付けする, サンプルワイド適応型アダプティブ・アダプティブ・ディスタンス(SAAD)を提案する。
• 参考スコア（独自算出の注目度）: 22.989324947501018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial distillation in the standard min-max adversarial training framework aims to transfer adversarial robustness from a large, robust teacher network to a compact student. However, existing work often neglects to incorporate state-of-the-art robust teachers. Through extensive analysis, we find that stronger teachers do not necessarily yield more robust students-a phenomenon known as robust saturation. While typically attributed to capacity gaps, we show that such explanations are incomplete. Instead, we identify adversarial transferability-the fraction of student-crafted adversarial examples that remain effective against the teacher-as a key factor in successful robustness transfer. Based on this insight, we propose Sample-wise Adaptive Adversarial Distillation (SAAD), which reweights training examples by their measured transferability without incurring additional computational cost. Experiments on CIFAR-10, CIFAR-100, and Tiny-ImageNet show that SAAD consistently improves AutoAttack robustness over prior methods. Our code is available at https://github.com/HongsinLee/saad.
• Abstract（参考訳）: 標準 min-max 対数学習フレームワークにおける対数蒸留は、大規模で頑健な教師ネットワークからコンパクトな学生へ対数ロバスト性を伝達することを目的としている。 しかし、既存の仕事は、しばしば最先端の堅牢な教師を取り入れることを無視している。 より広範な分析により、より強い教員が必ずしもより堅牢な生徒を生み出すとは限らないことが判明した。 典型的にはキャパシティギャップによるものであるが、そのような説明は不完全であることを示す。 その代わり、教師に対して効果を保ちながら、学生が作り上げた対人的事例のごく一部である対人的伝達可能性(英語版)を、ロバスト性伝達を成功させる重要な要因として同定する。 この知見に基づいて, 追加の計算コストを発生させることなく, 実験例の再重み付けを行うSAAD (Sample-wise Adversarial Distillation) を提案する。 CIFAR-10、CIFAR-100、Tiny-ImageNetの実験では、SAADは以前の手法よりもAutoAttackの堅牢性を一貫して改善している。 私たちのコードはhttps://github.com/HongsinLee/saad.comから入手可能です。

関連論文リスト

• DARD: Dice Adversarial Robustness Distillation against Adversarial Attacks [12.90150211072263]
  DARD(Dice Adversarial Robustness Distillation)は, 知識蒸留パラダイムを用いてロバストネスを伝達する新しい手法である。 我々の実験は、DARDアプローチが、同じアーキテクチャで敵対的に訓練されたネットワークを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-09-15T02:31:30Z)
• Distilling Adversarial Robustness Using Heterogeneous Teachers [9.404102810698202]
  頑健さは 逆行訓練を受けた教師から 知識蒸留を用いて 生徒モデルに移行できる 異種教員を用いた強靭性を蒸留することにより、敵攻撃に対する防御体制を構築した。 ホワイトボックスとブラックボックスの両方のシナリオにおける分類タスクの実験は、DARHTが最先端のクリーンで堅牢な精度を達成することを示した。
  論文  参考訳（メタデータ） (2024-02-23T19:55:13Z)
• Mitigating Accuracy-Robustness Trade-off via Balanced Multi-Teacher Adversarial Distillation [12.39860047886679]
  敵対的トレーニングは、敵対的攻撃に対するディープニューラルネットワークの堅牢性を改善するための実践的なアプローチである。 本稿では,B-MTARD(Ba balanced Multi-Teacher Adversarial Robustness Distillation)を導入する。 B-MTARDは、様々な敵攻撃に対して最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-06-28T12:47:01Z)
• Adversarial Contrastive Distillation with Adaptive Denoising [15.119013995045192]
  小型モデルのロバスト性を高めるために, コントラスト相関脱ノイズ蒸留法 (CRDND) を提案する。 CRDNDは、堅牢な知識を効率的に伝達し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-02-17T09:00:18Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)
• Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better [66.69777970159558]
  本稿では,ロバスト軟ラベル蒸留法(RSLAD)と呼ばれる新しい対向ロバスト蒸留法を提案する。 RSLADは、学生の学習をガイドするために、頑健な(逆向きに訓練された)大きな教師モデルによって生成される頑健なソフトラベルを完全に活用する。 我々は,既存の逆行訓練および蒸留法に対するRSLADアプローチの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2021-08-18T04:32:35Z)
• Analysis and Applications of Class-wise Robustness in Adversarial Training [92.08430396614273]
  敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。 従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。 MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。 対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
  論文  参考訳（メタデータ） (2021-05-29T07:28:35Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Feature Distillation With Guided Adversarial Contrastive Learning [41.28710294669751]
  本研究は,教師から生徒へ対人ロバスト性を伝えるためのGACD ( Guided Adversarial Contrastive Distillation) を提案する。 アンカーとして訓練された教師モデルでは,教師に類似した特徴を抽出することが期待されている。 GACDでは、生徒は頑丈な特徴を抽出することを学ぶだけでなく、教師からの構造的知識も取得する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:17Z)
• Adversarial Robustness on In- and Out-Distribution Improves Explainability [109.68938066821246]
  RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。 RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
  論文  参考訳（メタデータ） (2020-03-20T18:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。