論文の概要: On the Noise Stability and Robustness of Adversarially Trained Networks
on NVM Crossbars
- arxiv url: http://arxiv.org/abs/2109.09060v1
- Date: Sun, 19 Sep 2021 04:59:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:20:57.503026
- Title: On the Noise Stability and Robustness of Adversarially Trained Networks
on NVM Crossbars
- Title（参考訳）: NVMクロスバー上の逆学習ネットワークの雑音安定性とロバスト性について
- Authors: Deboleena Roy, Chun Tao, Indranil Chakraborty, Kaushik Roy
- Abstract要約: Deep Neural Networks (DNN) の適応的トレーニングは、堅牢性のベンチマーク手法である。
本研究では,NVMクロスバー型アナログハードウェアで提供される対向学習と固有ロバスト性を用いて,そのようなネットワークの雑音安定性について検討する。
この結果から, ハードウェアの非理想性と, 最適ロバスト性と性能を実現するために$epsilon_train$を慎重に校正する必要があることが示唆された。
- 参考スコア（独自算出の注目度）: 5.980044785497274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Applications based on Deep Neural Networks (DNNs) have grown exponentially in
the past decade. To match their increasing computational needs, several
Non-Volatile Memory (NVM) crossbar-based accelerators have been proposed. Apart
from improved energy efficiency and performance, these approximate hardware
also possess intrinsic robustness for defense against Adversarial Attacks,
which is an important security concern for DNNs. Prior works have focused on
quantifying this intrinsic robustness for vanilla networks, that is DNNs
trained on unperturbed inputs. However, adversarial training of DNNs is the
benchmark technique for robustness, and sole reliance on intrinsic robustness
of the hardware may not be sufficient. In this work, we explore the design of
robust DNNs through the amalgamation of adversarial training and the intrinsic
robustness offered by NVM crossbar-based analog hardware. First, we study the
noise stability of such networks on unperturbed inputs and observe that
internal activations of adversarially trained networks have lower
Signal-to-Noise Ratio (SNR), and are sensitive to noise than vanilla networks.
As a result, they suffer significantly higher performance degradation due to
the non-ideal computations; on an average 2x accuracy drop. On the other hand,
for adversarial images generated using Projected-Gradient-Descent (PGD)
White-Box attacks, ResNet-10/20 adversarially trained on CIFAR-10/100 display a
5-10% gain in robust accuracy due to the underlying NVM crossbar when the
attack epsilon ($\epsilon_{attack}$, the degree of input perturbations) is
greater than the epsilon of the adversarial training ($\epsilon_{train}$). Our
results indicate that implementing adversarially trained networks on analog
hardware requires careful calibration between hardware non-idealities and
$\epsilon_{train}$ to achieve optimum robustness and performance.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)に基づくアプリケーションは、過去10年間で指数関数的に増加している。
計算要求の増大に合わせて、いくつかの非揮発性メモリ(NVM)クロスバーベースのアクセラレータが提案されている。
エネルギー効率と性能の改善とは別に、これらの近似ハードウェアは、DNNにとって重要なセキュリティ上の懸念である敵攻撃に対する防御の本質的な堅牢性も持っている。
以前の研究は、不安定な入力でトレーニングされたdnnであるバニラネットワークのこの本質的なロバスト性の定量化に重点を置いてきた。
しかし、DNNの逆行訓練はロバスト性のベンチマーク手法であり、ハードウェア固有のロバスト性のみに依存するだけでは不十分である。
本研究では,NVMクロスバー型アナログハードウェアで提供される対角的トレーニングと本質的ロバスト性を用いて,ロバストDNNの設計について検討する。
まず,そのようなネットワークの非摂動入力におけるノイズ安定性について検討し,逆訓練ネットワークの内部活性化がsnr(signal-to-noise ratio)を低くし,バニラネットワークよりもノイズに敏感であることを観察する。
その結果,非理想計算による性能劣化が著しく増大し,平均2倍の精度低下が生じた。
一方、PGD(Projected-Gradient-Descent)White-Box攻撃を用いて生成された敵画像に対して、CIFAR-10/100で逆トレーニングされたResNet-10/20は、攻撃エプシロン(\epsilon_{ attack}$、入力摂動の度合い)が敵トレーニングのエプシロン(\epsilon_{train}$)よりも大きい場合、基盤となるNVMクロスバーによる堅牢な5-10%の精度を示す。
その結果,アナログハードウェア上では,ハードウェアの非理想性と$\epsilon_{train}$の厳密なキャリブレーションが必要となり,ロバスト性と性能が向上した。
関連論文リスト
- The Inherent Adversarial Robustness of Analog In-Memory Computing [2.435021773579434]
Deep Neural Network(DNN)アルゴリズムの重要な課題は、敵の攻撃に対する脆弱性である。
本稿では,位相変化メモリ(PCM)デバイスを用いたAIMCチップ上での予測を実験的に検証する。
ハードウェア・イン・ザ・ループ攻撃を行う際には、さらなる堅牢性も観察される。
論文 参考訳（メタデータ） (2024-11-11T14:29:59Z) - XploreNAS: Explore Adversarially Robust & Hardware-efficient Neural
Architectures for Non-ideal Xbars [2.222917681321253]
本研究は,XploreNASと呼ばれる2段階のアルゴリズム・ハードウェア協調最適化手法を提案する。
非理想的クロスバープラットフォームのための、ハードウェア効率が高く、逆向きに堅牢なニューラルアーキテクチャを検索する。
ベンチマークデータセットを用いたクロスバー実験では,検索したSubnetの対角ロバスト性は最大8-16%向上した。
論文 参考訳（メタデータ） (2023-02-15T16:44:18Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Robustness Certificates for Implicit Neural Networks: A Mixed Monotone
Contractive Approach [60.67748036747221]
暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。
入力逆流の摂動に関して、それらは不安定なままである。
本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-10T03:08:55Z) - Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。
我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。
逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
論文 参考訳（メタデータ） (2021-11-16T16:14:44Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-10-07T23:13:33Z) - HIRE-SNN: Harnessing the Inherent Robustness of Energy-Efficient Deep
Spiking Neural Networks by Training with Crafted Input Noise [13.904091056365765]
SNNトレーニングアルゴリズムは,入力ノイズを発生させるとともに,追加のトレーニング時間も発生しない。
通常の訓練された直接入力SNNと比較して、トレーニングされたモデルでは、最大13.7%の分類精度が向上した。
また,本モデルでは,レートコード入力を学習したSNNに対して,攻撃生成画像の分類性能が向上あるいは類似していることが特筆すべき点である。
論文 参考訳（メタデータ） (2021-10-06T16:48:48Z) - On the Intrinsic Robustness of NVM Crossbars Against Adversarial Attacks [6.592909460916497]
アナログコンピューティングの非理想的動作は、敵攻撃の有効性を低下させることを示す。
攻撃者がアナログハードウェアに気づいていない非適応攻撃では、アナログコンピューティングは固有の頑健さの程度が異なることを観察する。
論文 参考訳（メタデータ） (2020-08-27T09:36:50Z) - Rethinking Non-idealities in Memristive Crossbars for Adversarial
Robustness in Neural Networks [2.729253370269413]
ディープニューラルネットワーク(DNN)は、敵の攻撃に弱いことが示されている。
クロスバーな非イデアルは、MVMの実行時にエラーが発生するため、常に非評価されている。
そこで本研究では,本発明のハードウェア非理想性により,追加の最適化を伴わずに,マップ化されたDNNに対して対角的ロバスト性が得られることを示す。
論文 参考訳（メタデータ） (2020-08-25T22:45:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。