論文の概要: EMPIR: Ensembles of Mixed Precision Deep Networks for Increased
Robustness against Adversarial Attacks
- arxiv url: http://arxiv.org/abs/2004.10162v1
- Date: Tue, 21 Apr 2020 17:17:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-11 05:55:41.704307
- Title: EMPIR: Ensembles of Mixed Precision Deep Networks for Increased
Robustness against Adversarial Attacks
- Title（参考訳）: EMPIR: 敵攻撃に対するロバスト性向上のための混合精密深層ネットワークの集合
- Authors: Sanchari Sen, Balaraman Ravindran, Anand Raghunathan
- Abstract要約: ディープニューラルネットワーク(DNN)は、小さな入力摂動が破滅的な誤分類を生じさせる敵の攻撃に対して脆弱である。
敵攻撃に対するロバスト性を高めるための新しいアプローチとして,異なる数値精度を持つ量子化DNNモデルのアンサンブルであるEMPIRを提案する。
EMPIRは、MNIST、CIFAR-10、ImageNetデータセットでトレーニングされたDNNモデルに対して、平均対向精度を42.6%、15.2%、10.5%向上させることを示す。
- 参考スコア（独自算出の注目度）: 18.241639570479563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensuring robustness of Deep Neural Networks (DNNs) is crucial to their
adoption in safety-critical applications such as self-driving cars, drones, and
healthcare. Notably, DNNs are vulnerable to adversarial attacks in which small
input perturbations can produce catastrophic misclassifications. In this work,
we propose EMPIR, ensembles of quantized DNN models with different numerical
precisions, as a new approach to increase robustness against adversarial
attacks. EMPIR is based on the observation that quantized neural networks often
demonstrate much higher robustness to adversarial attacks than full precision
networks, but at the cost of a substantial loss in accuracy on the original
(unperturbed) inputs. EMPIR overcomes this limitation to achieve the 'best of
both worlds', i.e., the higher unperturbed accuracies of the full precision
models combined with the higher robustness of the low precision models, by
composing them in an ensemble. Further, as low precision DNN models have
significantly lower computational and storage requirements than full precision
models, EMPIR models only incur modest compute and memory overheads compared to
a single full-precision model (<25% in our evaluations). We evaluate EMPIR
across a suite of DNNs for 3 different image recognition tasks (MNIST, CIFAR-10
and ImageNet) and under 4 different adversarial attacks. Our results indicate
that EMPIR boosts the average adversarial accuracies by 42.6%, 15.2% and 10.5%
for the DNN models trained on the MNIST, CIFAR-10 and ImageNet datasets
respectively, when compared to single full-precision models, without
sacrificing accuracy on the unperturbed inputs.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)の堅牢性を保証することは、自動運転車やドローン、ヘルスケアといった安全クリティカルなアプリケーションの採用に不可欠である。
特に、DNNは、小さな入力摂動が破滅的な誤分類を生じさせる敵の攻撃に弱い。
本研究では,逆攻撃に対するロバスト性を高めるための新しい手法として,数値精度の異なる量子化dnnモデルのempirを提案する。
EMPIRは、量子化されたニューラルネットワークは、完全な精度のネットワークよりも敵の攻撃に対してはるかに高い堅牢性を示すことが多いが、元の(未成熟の)入力に対してかなりの精度の損失を被る。
EMPIRはこの制限を克服し、「両方の世界のベスト」、すなわち全精度モデルのより高い非摂動精度と低い精度モデルの高い堅牢さをアンサンブルで構成することで達成する。
さらに,低精度DNNモデルでは,完全精度モデルよりも計算・記憶要求が大幅に低くなるため,EMPIRモデルは1つの完全精度モデル (25%) と比較して,モデムやメモリオーバーヘッドの少ないモデルに限られる。
我々は,3つの異なる画像認識タスク(MNIST, CIFAR-10, ImageNet)と4つの異なる対向攻撃に対するEMPIRの評価を行った。
EMPIRは、MNIST、CIFAR-10、ImageNetの各データセットでトレーニングされたDNNモデルの平均対向精度を42.6%、15.2%、10.5%向上させる。
関連論文リスト
- Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。
本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。
本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
論文 参考訳（メタデータ） (2024-06-28T03:10:36Z) - Improving the Robustness of Quantized Deep Neural Networks to White-Box
Attacks using Stochastic Quantization and Information-Theoretic Ensemble
Training [1.6098666134798774]
ディープニューラルネットワーク(DNN)を使用する現実世界のほとんどのアプリケーションは、計算ニーズを減らすためにそれらを低精度で量子化する。
ホワイトボックス攻撃に対する量子化DNNのロバスト性を改善する手法を提案する。
論文 参考訳（メタデータ） (2023-11-30T17:15:58Z) - Improving Robustness Against Adversarial Attacks with Deeply Quantized
Neural Networks [0.5849513679510833]
ディープニューラルネットワーク(DNN)の欠点は、入力にわずかな摂動を加えることで騙されるため、敵の攻撃に対する脆弱性である。
本稿では,対戦型ブラックボックス攻撃に対して堅牢な小型DNNモデルを考案し,自動量子化学習フレームワークを用いて訓練した結果を報告する。
論文 参考訳（メタデータ） (2023-04-25T13:56:35Z) - Publishing Efficient On-device Models Increases Adversarial
Vulnerability [58.6975494957865]
本稿では,大規模モデルのオンデバイス版を公開する際のセキュリティ上の考慮事項について検討する。
まず、敵がデバイス上のモデルを悪用し、大きなモデルを攻撃しやすくすることを示す。
次に、フルスケールと効率的なモデルとの類似性が増加するにつれて、脆弱性が増加することを示す。
論文 参考訳（メタデータ） (2022-12-28T05:05:58Z) - CSTAR: Towards Compact and STructured Deep Neural Networks with
Adversarial Robustness [19.69048976479834]
CSTARは、低ランク性に基づくコンパクト性、高安定性、高逆ロバスト性をターゲットDNNモデルに同時に付与できる効率的なソリューションである。
CSTARは、最先端のロバストな構造化プルーニング法と比較すると、常に優れた性能を示している。
論文 参考訳（メタデータ） (2022-12-04T23:59:47Z) - Interpolated Joint Space Adversarial Training for Robust and
Generalizable Defenses [82.3052187788609]
敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。
近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。
我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。
JSTMでは,新たな敵攻撃・防衛手法が開発されている。
論文 参考訳（メタデータ） (2021-12-12T21:08:14Z) - Variability-Aware Training and Self-Tuning of Highly Quantized DNNs for
Analog PIM [0.15229257192293197]
我々は高量子化アナログPIMモデルのための新しい共同変数と量子化対応DNNトレーニングアルゴリズムを開発した。
低ビット幅モデルと高変動モデルでは、ResNet-18の精度は35.7%まで向上する。
論文 参考訳（メタデータ） (2021-11-11T20:55:02Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - Towards Adversarial Patch Analysis and Certified Defense against Crowd
Counting [61.99564267735242]
安全クリティカルな監視システムの重要性から、群衆のカウントは多くの注目を集めています。
近年の研究では、ディープニューラルネットワーク(DNN)の手法が敵の攻撃に弱いことが示されている。
群衆カウントモデルのロバスト性を評価するために,Momentumを用いた攻撃戦略としてAdversarial Patch Attackを提案する。
論文 参考訳（メタデータ） (2021-04-22T05:10:55Z) - Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by
Enabling Input-Adaptive Inference [119.19779637025444]
深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。
本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
論文 参考訳（メタデータ） (2020-02-24T00:40:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。