論文の概要: Teach Me to Trick: Exploring Adversarial Transferability via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2507.21992v1
• Date: Tue, 29 Jul 2025 16:43:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:56.754722
• Title: Teach Me to Trick: Exploring Adversarial Transferability via Knowledge Distillation
• Title（参考訳）: Teach Me to Trick: 知識蒸留による敵の移動可能性を探る
• Authors: Siddhartha Pradhan, Shikshya Shiwakoti, Neha Bathuri,
• Abstract要約: 知識蒸留は 伝達可能な敵の例の生成を 促進する 軽量な学生モデルは、カリキュラムベースのスイッチングと共同最適化という2つのKD戦略を用いて訓練される。 複数の教師から抽出された学生モデルは、アンサンブルベースのベースラインに匹敵する攻撃の成功率を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether knowledge distillation (KD) from multiple heterogeneous teacher models can enhance the generation of transferable adversarial examples. A lightweight student model is trained using two KD strategies: curriculum-based switching and joint optimization, with ResNet50 and DenseNet-161 as teachers. The trained student is then used to generate adversarial examples using FG, FGS, and PGD attacks, which are evaluated against a black-box target model (GoogLeNet). Our results show that student models distilled from multiple teachers achieve attack success rates comparable to ensemble-based baselines, while reducing adversarial example generation time by up to a factor of six. An ablation study further reveals that lower temperature settings and the inclusion of hard-label supervision significantly enhance transferability. These findings suggest that KD can serve not only as a model compression technique but also as a powerful tool for improving the efficiency and effectiveness of black-box adversarial attacks.
• Abstract（参考訳）: 複数の異種教師モデルからの知識蒸留(KD)が、伝達可能な対逆例の生成を促進できるかどうかを検討する。 ライトウェイトな学生モデルは、カリキュラムベースのスイッチングと共同最適化の2つのKD戦略を使って訓練され、ResNet50とDenseNet-161が教師として使用される。 訓練された学生は、FG、FGS、PGD攻撃を使用して敵の例を生成するために使用され、ブラックボックスターゲットモデル(GoogLeNet)に対して評価される。 その結果、複数の教師から抽出した学生モデルは、アンサンブルベースのベースラインに匹敵する攻撃成功率を達成し、対向的なサンプル生成時間を最大6倍に短縮した。 アブレーション研究により、低い温度設定とハードラベルの監視が転写性を大幅に向上させることが明らかとなった。 これらの結果から,KDはモデル圧縮技術だけでなく,ブラックボックス攻撃の効率性と有効性向上のための強力なツールとしても機能することが示唆された。

関連論文リスト

• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Relational Representation Distillation [6.24302896438145]
  知識蒸留は、巨大で面倒な教師モデルからよりコンパクトな学生モデルへの知識の伝達を伴う。 標準的アプローチは教師の内部表現における重要な構造的関係を捉えるのに失敗する。 近年の進歩は対照的な学習目標に変わったが、これらの手法はインスタンス識別を通じて過度に厳格な制約を課している。 本手法では,教師と生徒の分布に異なる温度パラメータを用い,よりシャープな学生出力を用いて,二次的類似性を保ちながら一次関係の正確な学習を可能にする。
  論文  参考訳（メタデータ） (2024-07-16T14:56:13Z)
• Adversarial Sparse Teacher: Defense Against Distillation-Based Model Stealing Attacks Using Adversarial Examples [2.0257616108612373]
  対人スパース教師 (AST) は蒸留モデル盗難攻撃に対する堅牢な防御方法である。 提案手法は, 逆例を用いて教師モデルを訓練し, スパースロジット応答を生成し, 出力分布のエントロピーを増大させる。
  論文  参考訳（メタデータ） (2024-03-08T09:43:27Z)
• Distilling Adversarial Robustness Using Heterogeneous Teachers [9.404102810698202]
  頑健さは 逆行訓練を受けた教師から 知識蒸留を用いて 生徒モデルに移行できる 異種教員を用いた強靭性を蒸留することにより、敵攻撃に対する防御体制を構築した。 ホワイトボックスとブラックボックスの両方のシナリオにおける分類タスクの実験は、DARHTが最先端のクリーンで堅牢な精度を達成することを示した。
  論文  参考訳（メタデータ） (2024-02-23T19:55:13Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。