論文の概要: Improving Defensive Distillation using Teacher Assistant

• arxiv url: http://arxiv.org/abs/2305.08076v1
• Date: Sun, 14 May 2023 05:27:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 17:42:49.121235
• Title: Improving Defensive Distillation using Teacher Assistant
• Title（参考訳）: 教員助手による防衛蒸留の改善
• Authors: Maniratnam Mandal and Suna Gao
• Abstract要約: 敵攻撃は、現代のアプリケーションに適用されているディープニューラルネットワークのセキュリティと安全性に重大な脅威をもたらす。 本稿では, 蒸留モデルのロバスト性を向上させるために, 補助ネットワークを導入することを提案する。
• 参考スコア（独自算出の注目度）: 1.2891210250935146
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Adversarial attacks pose a significant threat to the security and safety of deep neural networks being applied to modern applications. More specifically, in computer vision-based tasks, experts can use the knowledge of model architecture to create adversarial samples imperceptible to the human eye. These attacks can lead to security problems in popular applications such as self-driving cars, face recognition, etc. Hence, building networks which are robust to such attacks is highly desirable and essential. Among the various methods present in literature, defensive distillation has shown promise in recent years. Using knowledge distillation, researchers have been able to create models robust against some of those attacks. However, more attacks have been developed exposing weakness in defensive distillation. In this project, we derive inspiration from teacher assistant knowledge distillation and propose that introducing an assistant network can improve the robustness of the distilled model. Through a series of experiments, we evaluate the distilled models for different distillation temperatures in terms of accuracy, sensitivity, and robustness. Our experiments demonstrate that the proposed hypothesis can improve robustness in most cases. Additionally, we show that multi-step distillation can further improve robustness with very little impact on model accuracy.
• Abstract（参考訳）: 敵の攻撃は、現代のアプリケーションに適用されるディープニューラルネットワークのセキュリティと安全性に重大な脅威をもたらす。 より具体的には、コンピュータビジョンに基づくタスクでは、専門家はモデルアーキテクチャの知識を使って、人間の目には見えない敵対的なサンプルを作成することができる。 これらの攻撃は、自動運転車や顔認識などの一般的なアプリケーションでセキュリティ上の問題を引き起こす可能性がある。 したがって、このような攻撃に対して堅牢なネットワークの構築は非常に望ましいものであり、不可欠である。 文献にみられる様々な方法のうち、近年は防御蒸留が期待されている。 知識蒸留を用いて、研究者はこれらの攻撃に対して堅牢なモデルを作ることができた。 しかし、防御蒸留の弱さを露呈する攻撃が増えている。 本研究では,教師補助知識蒸留から着想を得て,補助ネットワークの導入により,蒸留モデルのロバスト性が向上することを示す。 一連の実験を通じて, 蒸留温度の異なる蒸留モデルについて, 精度, 感度, 堅牢性の観点から評価した。 実験の結果,提案仮説はほとんどの場合,ロバスト性が向上することが示された。 さらに,多段蒸留はモデルの精度にほとんど影響を与えず,ロバスト性をさらに向上させることができることを示した。

関連論文リスト

• Model Mimic Attack: Knowledge Distillation for Provably Transferable Adversarial Examples [1.1820990818670631]
  この研究は、分類ニューラルネットワークに対する知識蒸留に基づく攻撃の成功に関する証明可能な保証を提供する最初のものである。 学生モデルに十分な学習能力がある場合、教師モデルに対する攻撃は、有限個の蒸留イテレーションで見つかることが保証される。
  論文  参考訳（メタデータ） (2024-10-21T11:06:56Z)
• Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
  現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。 メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。 MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
  論文  参考訳（メタデータ） (2024-04-04T10:10:38Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Isolation and Induction: Training Robust Deep Neural Networks against Model Stealing Attacks [51.51023951695014]
  既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。 本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。 モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
  論文  参考訳（メタデータ） (2023-08-02T05:54:01Z)
• Learning the Wrong Lessons: Inserting Trojans During Knowledge Distillation [68.8204255655161]
  トロイの木馬の攻撃は、ディープラーニングモデルの基本的脆弱性を明らかにし、同時に顕著に有名になった。 我々は,教師に顕著な振る舞いを導入することなく,生徒モデルにトロイの木馬を埋め込むために,乱れのないデータ知識蒸留プロセスを活用することを目的とする。 我々は、生徒の精度を効果的に低減し、教師のパフォーマンスを変えず、実際に効率的に構築可能なトロイの木馬攻撃を考案した。
  論文  参考訳（メタデータ） (2023-03-09T21:37:50Z)
• RobustSense: Defending Adversarial Attack for Secure Device-Free Human Activity Recognition [37.387265457439476]
  我々は、共通の敵攻撃を防御する新しい学習フレームワーク、RobustSenseを提案する。 本手法は,無線による人間行動認識と人物識別システムに有効である。
  論文  参考訳（メタデータ） (2022-04-04T15:06:03Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• HoneyModels: Machine Learning Honeypots [2.0499240875882]
  ミツバチにインスパイアされた別のアプローチで敵を検知する。 我々のアプローチは、学習したモデルに埋め込みの透かしを与えます。 We show that HoneyModels can reveal 69.5%の敵がニューラルネットワークを攻撃しようとしている。
  論文  参考訳（メタデータ） (2022-02-21T15:33:17Z)
• Detection Defense Against Adversarial Attacks with Saliency Map [7.736844355705379]
  ニューラルネットワークは、人間の視覚にほとんど受容できない敵の例に弱いことがよく確認されている。 既存の防衛は、敵の攻撃に対するモデルの堅牢性を強化する傾向にある。 本稿では,新たな雑音と組み合わせた新しい手法を提案し,不整合戦略を用いて敵のサンプルを検出する。
  論文  参考訳（メタデータ） (2020-09-06T13:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。