論文の概要: CARD: Closing the Teacher-Student Loop for Adversarial Robustness Distillation

• arxiv url: http://arxiv.org/abs/2610.19911v1
• Date: Wed, 14 Oct 2026 10:04:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.08262
• Title: CARD: Closing the Teacher-Student Loop for Adversarial Robustness Distillation
• Title（参考訳）: CARD: 対人ロバスト性蒸留のための教師-学生ループの閉鎖
• Abstract要約: 対向ロバストネス蒸留は、頑健な教師を固定知識源として扱い、一方通行でコンパクトな生徒にロバストネスを伝達する。 このパラダイムは、学生が蒸留されると教師との交流を終了し、蒸留された学生から潜在的に有用なフィードバックを捨てる。 本研究では, 閉鎖ループフレームワークであるCARD(Cyclic Adrial Robustness Distillation)を提案する。
• 参考スコア（独自算出の注目度）: 19.147884556498344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial robustness distillation typically treats a robust teacher as a fixed knowledge source and transfers robustness to a compact student in a one-way manner. This paradigm terminates teacher-student interaction once the student is distilled, thereby discarding potentially useful feedback from the distilled student. However, exploiting such feedback is nontrivial because indiscriminate weak-to-strong transfer may propagate student errors to the teacher. To address this issue, we propose Cyclic Adversarial Robustness Distillation (CARD), a closed-loop framework that turns the distilled student into a feedback source for refining the robust teacher and subsequently transfers the teacher gains back to the same student. CARD first performs strong-to-weak adversarial distillation and then uses reliability-enhanced student feedback to refine the robust teacher. The refinement combines inverse adversarial student feedback with teacher-student discrepancy maximization, after which the refined teacher is used to continue training the same student under the unchanged base distillation objective. We further establish a sample-level sufficient condition for reliable weak-to-strong feedback transfer and derive a distribution-level upper bound on the refined teacher's risk. Experiments on CIFAR-10, CIFAR-100, and TinyImageNet-10 across multiple teacher-student architectures and base distillation methods show that CARD improves adversarial robustness in most evaluated settings while generally preserving clean accuracy. These results show that the distilled student can provide useful feedback to the teacher, enabling robustness transfer to proceed beyond the conventional one-way teacher-to-student paradigm.
• Abstract（参考訳）: 対向ロバストネス蒸留は通常、頑健な教師を固定知識源として扱い、一方通行でコンパクトな生徒にロバストネスを伝達する。 このパラダイムは、学生が蒸留されると教師と学生の交流を終わらせ、蒸留された学生から潜在的に有用なフィードバックを捨てる。 しかし,学生の誤りを教師に広める可能性があり,このようなフィードバックを活用することは容易ではない。 そこで本研究では, 閉鎖ループフレームワークであるCARD(Cyclic Adversarial Robustness Distillation)を提案する。 CARDはまず、強弱反対蒸留を行い、その後、信頼性の高い学生のフィードバックを使って、堅牢な教師を洗練させる。 この改良は、逆逆相反する学生のフィードバックと教師/学生の相違の最大化を組み合わせ、その後、改良された教師を用いて、変化のない基本蒸留目標の下で同じ学生のトレーニングを続ける。 さらに、信頼度の高い弱強フィードバック伝達のためのサンプルレベルの十分条件を確立し、洗練された教師のリスクに基づいた分布レベルの上限を導出する。 CIFAR-10, CIFAR-100, TinyImageNet-10を複数の教師学生向けアーキテクチャと基本蒸留法で実験したところ, CARDは概してクリーンな精度を維持しつつ, ほとんどの評価環境で対向ロバスト性を改善することがわかった。 これらの結果から, 蒸留した学生は教師に有用なフィードバックを提供し, 従来の一方向教師対学生パラダイムを超越した堅牢性伝達を可能にした。

関連論文リスト

• Collaboratively Guided Adversarial Robust Distillation with Teacher-Favorable Examples [19.37647958560618]
  高容量教師から小学生への反対蒸留ロバスト化 協調誘導型対向ロバスト蒸留法(CGARD)を提案する。 CGARDは、協力的な教師指導と敵対的な教師指導を組み合わせることで、堅牢な知識伝達を改善する。
  論文  参考訳（メタデータ） (2026-10-08T06:12:23Z)
• Inductive Feedback for Mixed-Policy Distillation [15.997296479947785]
  言語フィードバックはエラーを特定し、修正を処方する。 オンライン蒸留は、学生が生み出したロールアウトに関する教師の予測に合致するように学生を訓練する。 このアプローチは、フィードバックのほとんどを未使用のままにしながら、フィードバックが動機のない教師の好みを伝達することができる。
  論文  参考訳（メタデータ） (2026-09-28T15:20:35Z)
• Toward Understanding Adversarial Distillation: Why Robust Teachers Fail [22.989324947501018]
  Adrial Distillationは,教師のソフトラベルで生徒に指導することで,生徒の堅牢性を高めることを目的としている。 この教師依存の鍵となるメカニズムは,教師の監督的信頼度と生徒の表現的制限との相違である。
  論文  参考訳（メタデータ） (2026-05-21T04:57:15Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Revisiting the Capacity Gap in Chain-of-Thought Distillation from a Practical Perspective [17.314709291353733]
  思考の連鎖(CoT)蒸留は、強い教師から小さな学生へ推論の振る舞いを伝達する。 蒸留は、教師/学生の能力のミスマッチが大きいと失敗する可能性がある。 我々は、一般的に使用される実験環境を再検討することにより、現実的な視点からキャパシティギャップを再考する。
  論文  参考訳（メタデータ） (2026-04-10T02:39:32Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• PROD: Progressive Distillation for Dense Retrieval [65.83300173604384]
  良質な教師モデルでは,教師と生徒の間には不可解なギャップがあるため,蒸留によって悪い生徒が生まれることが一般的である。 本稿では,高密度検索のためのプログレッシブ蒸留法であるPRDを提案する。
  論文  参考訳（メタデータ） (2022-09-27T12:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。