論文の概要: Collaboratively Guided Adversarial Robust Distillation with Teacher-Favorable Examples
- arxiv url: http://arxiv.org/abs/2610.11306v1
- Date: Thu, 08 Oct 2026 06:12:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.826012
- Title: Collaboratively Guided Adversarial Robust Distillation with Teacher-Favorable Examples
- Title（参考訳）: 対人ロバスト蒸留法と教師の好例
- Abstract要約: 高容量教師から小学生への反対蒸留ロバスト化
協調誘導型対向ロバスト蒸留法(CGARD)を提案する。
CGARDは、協力的な教師指導と敵対的な教師指導を組み合わせることで、堅牢な知識伝達を改善する。
- 参考スコア（独自算出の注目度）: 19.37647958560618
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial distillation transfers robustness from high-capacity teachers to compact students. Existing adversarial distillation methods mainly use teacher predictions on clean or adversarial examples to supervise student learning. However, teacher-favorable supervision within the perturbation neighborhood remains underexplored in adversarial distillation. We therefore propose Collaboratively Guided Adversarial Robust Distillation (CGARD), which jointly optimizes distinct student-adversarial and teacher-collaborative examples within the same perturbation neighborhood. The teacher-collaborative example is constrained to incur no greater cross-entropy loss under the teacher than the clean input. CGARD combines collaborative teacher guidance with adversarial teacher supervision to improve robust knowledge transfer. Experiments on CIFAR-10 and CIFAR-100, including white-box evaluation and additional black-box transfer evaluation, demonstrate consistent robustness improvements over strong adversarial distillation baselines.
- Abstract（参考訳）: 反対蒸留は、高容量の教師からコンパクトな学生に堅牢性をもたらす。
既存の反対蒸留法は, 学生の学習を監督するために, 清浄・反対例の教師予測を主に用いている。
しかし, 摂動地区における教師に好意的な指導は, 反対蒸留において過小評価されている。
そこで我々は,同じ摂動圏内において,生徒・生徒・教師・協力の異なる事例を共同で最適化する,共同指導型対人ロバスト蒸留(CGARD)を提案する。
教師-協力的な例は、クリーンな入力よりも教師の下でのクロスエントロピー損失が大きくないよう制約されている。
CGARDは、協力的な教師指導と敵対的な教師指導を組み合わせることで、堅牢な知識伝達を改善する。
CIFAR-10とCIFAR-100の実験は、ホワイトボックス評価とブラックボックス転送評価を含む、強い反対蒸留ベースラインよりも一貫した堅牢性の向上を示した。
関連論文リスト
- TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold [4.090731563364332]
我々は、強化学習ポリシーをマルチベース推論解多様体の局所的なプローブと見なすべきであると主張する。
本稿では,教師が多教師政策の蒸留で構築する拡張型圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-30T07:05:37Z) - Sample-wise Adaptive Weighting for Transfer Consistency in Adversarial Distillation [22.989324947501018]
既存の仕事は、しばしば最先端の堅牢な教師を取り入れることを無視している。
本研究は,教師に対して有効である対人移動可能性(対人移動可能性)を,学生が作成した対人関係の事例のごく一部として同定する。
そこで本研究では, 追加の計算コストを発生させることなく, 測定されたトランスファー可能性によってトレーニング例を再重み付けする, サンプルワイド適応型アダプティブ・アダプティブ・ディスタンス(SAAD)を提案する。
論文 参考訳（メタデータ） (2025-12-11T04:31:04Z) - Distilling Adversarial Robustness Using Heterogeneous Teachers [9.404102810698202]
頑健さは 逆行訓練を受けた教師から 知識蒸留を用いて 生徒モデルに移行できる
異種教員を用いた強靭性を蒸留することにより、敵攻撃に対する防御体制を構築した。
ホワイトボックスとブラックボックスの両方のシナリオにおける分類タスクの実験は、DARHTが最先端のクリーンで堅牢な精度を達成することを示した。
論文 参考訳（メタデータ） (2024-02-23T19:55:13Z) - Faithful Knowledge Distillation [75.59907631395849]
i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。
これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
論文 参考訳（メタデータ） (2023-06-07T13:41:55Z) - Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
蒸留した学生の一般化行動について検討する。
この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。
オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
論文 参考訳（メタデータ） (2023-01-28T16:34:47Z) - Adam: Dense Retrieval Distillation with Adaptive Dark Examples [104.01735794498767]
本稿では,教師が持つ暗黒知識を適応暗黒エクストリームで伝達する知識蒸留フレームワークであるADAMを提案する。
2つの広く利用されているベンチマークで実験を行い、本手法の有効性を検証する。
論文 参考訳（メタデータ） (2022-12-20T12:03:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。