Fugu-MT 論文翻訳(概要): NEO-KD: Knowledge-Distillation-Based Adversarial Training for Robust Multi-Exit Neural Networks

論文の概要: NEO-KD: Knowledge-Distillation-Based Adversarial Training for Robust Multi-Exit Neural Networks

arxiv url: http://arxiv.org/abs/2311.00428v1
Date: Wed, 1 Nov 2023 10:44:05 GMT
ステータス: 処理完了
システム内更新日: 2023-11-02 14:11:17.841316
Title: NEO-KD: Knowledge-Distillation-Based Adversarial Training for Robust Multi-Exit Neural Networks
Title（参考訳）: NEO-KD:ロバストなマルチエクイットニューラルネットワークのための知識蒸留に基づく逆学習
Authors: Seokil Ham, Jungwuk Park, Dong-Jun Han, Jaekyun Moon
Abstract要約: 我々は,知識蒸留に基づくマルチエグジットネットワークの対戦訓練戦略であるNEO-KDを提案する。本手法は,計算予算を削減し,最適逆精度を実現する。
参考スコア（独自算出の注目度）: 22.940141855172033
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While multi-exit neural networks are regarded as a promising solution for making efficient inference via early exits, combating adversarial attacks remains a challenging problem. In multi-exit networks, due to the high dependency among different submodels, an adversarial example targeting a specific exit not only degrades the performance of the target exit but also reduces the performance of all other exits concurrently. This makes multi-exit networks highly vulnerable to simple adversarial attacks. In this paper, we propose NEO-KD, a knowledge-distillation-based adversarial training strategy that tackles this fundamental challenge based on two key contributions. NEO-KD first resorts to neighbor knowledge distillation to guide the output of the adversarial examples to tend to the ensemble outputs of neighbor exits of clean data. NEO-KD also employs exit-wise orthogonal knowledge distillation for reducing adversarial transferability across different submodels. The result is a significantly improved robustness against adversarial attacks. Experimental results on various datasets/models show that our method achieves the best adversarial accuracy with reduced computation budgets, compared to the baselines relying on existing adversarial training or knowledge distillation techniques for multi-exit networks.
Abstract（参考訳）: マルチエグジットニューラルネットワークは、早期出口による効率的な推論のための有望なソリューションとされているが、敵の攻撃と戦うことは依然として難しい問題である。マルチエクイットネットワークでは、異なるサブモデル間の依存性が高いため、特定のエグジットをターゲットとする敵対的な例は、ターゲットエグジットのパフォーマンスを低下させるだけでなく、他のすべてのエグジットのパフォーマンスを同時に低下させる。これにより、マルチエクイットネットワークは単純な敵の攻撃に対して非常に脆弱になる。本稿では,2つの重要な貢献に基づいて,この基本的な課題に対処する知識蒸留に基づく対人訓練戦略であるNEO-KDを提案する。 NEO-KDは、まず近隣の知識蒸留を利用して、敵のサンプルの出力を、クリーンデータの隣の出口のアンサンブル出力に誘導する。 neo-kdはまた、異なるサブモデル間の逆転移可能性を減らすために、出口側直交知識蒸留を用いる。その結果、敵攻撃に対する堅牢性が大幅に向上した。様々なデータセット/モデルを用いた実験の結果,マルチエクイットネットワークにおける既存の敵意訓練や知識蒸留技術に依存するベースラインと比較して,計算予算の削減により最適な敵意精度が得られることがわかった。

関連論文リスト

Edge-Only Universal Adversarial Attacks in Distributed Learning [49.546479320670464]
本研究では,攻撃者がモデルのエッジ部分のみにアクセスした場合に,ユニバーサルな敵攻撃を発生させる可能性について検討する。提案手法は, エッジ側の重要な特徴を活用することで, 未知のクラウド部分において, 効果的な誤予測を誘導できることを示唆する。 ImageNetの結果は、未知のクラウド部分に対する強力な攻撃伝達性を示している。
論文参考訳（メタデータ） (2024-11-15T11:06:24Z)
Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-08-01T06:16:18Z)
Generalization Bounds for Adversarial Contrastive Learning [10.893632710192016]
我々は、ACLの一般化性能を解析するために、Radecher複雑性を用いる。本理論は, 下流タスクの対向リスクの平均値は, 上流タスクの対向的無監督リスクによって上限付けられることを示す。
論文参考訳（メタデータ） (2023-02-21T12:44:59Z)
Auditing Membership Leakages of Multi-Exit Networks [24.993435293184323]
マルチエグジットネットワークの最初のプライバシ分析は、会員情報漏洩のレンズを用いて行う。本稿では,既存の攻撃の性能向上のため,出口情報を利用したハイブリッド攻撃を提案する。マルチエグジットネットワークに特化してTimeGuardという防衛機構を提案し,TimeGuardが新たに提案した攻撃を完璧に軽減することを示す。
論文参考訳（メタデータ） (2022-08-23T20:16:19Z)
Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-08T07:40:55Z)
Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文参考訳（メタデータ） (2022-03-18T01:12:18Z)
Towards Robust Neural Networks via Orthogonal Diversity [30.77473391842894]
敵の訓練とその変種に代表される一連の手法は、ディープニューラルネットワークの堅牢性を高める最も効果的な手法の1つとして証明されている。本稿では, 多様な入力に適応する特徴を学習するために, モデルの拡張を目的とした新しい防御手法を提案する。このようにして、提案したDIOは、これらの相互直交経路によって学習された特徴を補正できるため、モデルを強化し、DNN自体の堅牢性を高める。
論文参考訳（メタデータ） (2020-10-23T06:40:56Z)
Enhancing Resilience of Deep Learning Networks by Means of Transferable Adversaries [0.0]
我々は,ニューラルネットワークの敵に対するレジリエンスを高めるための,新しい,シンプルで効果的なアプローチを導入する。提案する防衛手法は,同等の性能を実現するために,単一の前方通過しか必要としないため,より効率的である。
論文参考訳（メタデータ） (2020-05-27T11:52:42Z)
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文参考訳（メタデータ） (2020-04-30T19:12:50Z)
Towards Transferable Adversarial Attack against Deep Face Recognition [58.07786010689529]
ディープ畳み込みニューラルネットワーク(DCNN)は敵の例に弱いことが判明した。転送可能な敵の例は、DCNNの堅牢性を著しく妨げます。 DFANetは畳み込み層で使用されるドロップアウトベースの手法であり,サロゲートモデルの多様性を高めることができる。クエリなしで4つの商用APIをうまく攻撃できる新しい対向顔ペアを生成します。
論文参考訳（メタデータ） (2020-04-13T06:44:33Z)
Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。