論文の概要: Learning the Wrong Lessons: Inserting Trojans During Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2303.05593v1
• Date: Thu, 9 Mar 2023 21:37:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 16:44:23.639011
• Title: Learning the Wrong Lessons: Inserting Trojans During Knowledge Distillation
• Title（参考訳）: 誤った教訓を学習する:知識蒸留におけるトロイの木馬の挿入
• Authors: Leonard Tang, Tom Shlomi, Alexander Cai
• Abstract要約: トロイの木馬の攻撃は、ディープラーニングモデルの基本的脆弱性を明らかにし、同時に顕著に有名になった。 我々は,教師に顕著な振る舞いを導入することなく,生徒モデルにトロイの木馬を埋め込むために,乱れのないデータ知識蒸留プロセスを活用することを目的とする。 我々は、生徒の精度を効果的に低減し、教師のパフォーマンスを変えず、実際に効率的に構築可能なトロイの木馬攻撃を考案した。
• 参考スコア（独自算出の注目度）: 68.8204255655161
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In recent years, knowledge distillation has become a cornerstone of efficiently deployed machine learning, with labs and industries using knowledge distillation to train models that are inexpensive and resource-optimized. Trojan attacks have contemporaneously gained significant prominence, revealing fundamental vulnerabilities in deep learning models. Given the widespread use of knowledge distillation, in this work we seek to exploit the unlabelled data knowledge distillation process to embed Trojans in a student model without introducing conspicuous behavior in the teacher. We ultimately devise a Trojan attack that effectively reduces student accuracy, does not alter teacher performance, and is efficiently constructible in practice.
• Abstract（参考訳）: 近年、知識蒸留は効率的な機械学習の基盤となり、研究室や産業は知識蒸留を利用して安価で資源に最適化されたモデルを訓練している。 トロイの木馬の攻撃は、ディープラーニングモデルの基本的脆弱性を明らかにし、同時に顕著に有名になった。 本研究では,教師の目立たない行動を導入することなく,生徒モデルにトロイの木馬を組み込むために,ラベルのないデータ知識蒸留プロセスを活用することを目的とする。 最終的に、生徒の精度を効果的に低減し、教師のパフォーマンスを変えず、実際に効率的に構築可能なトロイア攻撃を考案する。

関連論文リスト

• A Survey on Recent Teacher-student Learning Studies [0.0]
  知識蒸留は、複雑なディープニューラルネットワーク(DNN)からより小さくより高速なDNNに知識を伝達する方法である。 近年の知識蒸留には、補助蒸留、カリキュラム蒸留、マスク蒸留、デカップリング蒸留などがある。
  論文  参考訳（メタデータ） (2023-04-10T14:30:28Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• ARDIR: Improving Robustness using Knowledge Distillation of Internal Representation [2.0875529088206553]
  本稿では, 知識蒸留をより効果的に活用するために, 内部表現を用いたAdversarial Robust Distillation (ARDIR)を提案する。 ARDIRは、教師モデルの内部表現を敵の訓練のラベルとして使用する。 実験では,ARDIRが従来の手法より優れていたことを示す。
  論文  参考訳（メタデータ） (2022-11-01T03:11:59Z)
• Distilling the Undistillable: Learning from a Nasty Teacher [30.0248670422039]
  標準データセットにおいて,Nasty Teacherの学習を68.63%向上させる効率的な手法を開発した。 また,盗みの洞察に基づく即興防衛手法についても検討する。 多様なモデル/セットに関する詳細な実験と改善は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2022-10-21T04:35:44Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Dynamic Rectification Knowledge Distillation [0.0]
  ダイナミック・リクティフィケーション・ナレッジ蒸留(DR-KD)は、知識蒸留の枠組みである。 DR-KDは生徒を自身の教師に転換し、自己学習者が情報を蒸留しながら誤った予測を行った場合、知識が蒸留される前に誤りが修正される。 提案するDR-KDは, 複雑な教師モデルが存在しない場合, 極めて良好に機能する。
  論文  参考訳（メタデータ） (2022-01-27T04:38:01Z)
• Fixing the Teacher-Student Knowledge Discrepancy in Distillation [72.4354883997316]
  本稿では,教師の知識を学生とより整合させる,新たな学生依存型蒸留法である知識一貫型蒸留を提案する。 この手法は非常に柔軟で,他の最先端手法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-31T06:52:20Z)
• Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
  本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。 事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
  論文  参考訳（メタデータ） (2021-02-12T07:00:17Z)
• Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
  複数知識伝達(CTSL-MKT)による協調学習を提案する。 複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。 4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2021-01-21T07:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。