論文の概要: On the Noise Stability and Robustness of Adversarially Trained Networks
on NVM Crossbars
- arxiv url: http://arxiv.org/abs/2109.09060v2
- Date: Thu, 18 May 2023 21:42:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 20:10:04.978827
- Title: On the Noise Stability and Robustness of Adversarially Trained Networks
on NVM Crossbars
- Title（参考訳）: NVMクロスバー上の逆学習ネットワークの雑音安定性とロバスト性について
- Authors: Chun Tao, Deboleena Roy, Indranil Chakraborty, Kaushik Roy
- Abstract要約: 我々は,NVMクロスバー型アナログハードウェアの対角的トレーニングと本質的ロバスト性を融合して,ロバストなディープニューラルネットワーク(DNN)の設計について検討する。
この結果から, ハードウェアの非理想性と, 最適ロバスト性と性能のために$epsilon_train$を慎重に校正する必要があることが示唆された。
- 参考スコア（独自算出の注目度）: 6.506883928959601
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Applications based on Deep Neural Networks (DNNs) have grown exponentially in
the past decade. To match their increasing computational needs, several
Non-Volatile Memory (NVM) crossbar based accelerators have been proposed.
Recently, researchers have shown that apart from improved energy efficiency and
performance, such approximate hardware also possess intrinsic robustness for
defense against adversarial attacks. Prior works quantified this intrinsic
robustness for vanilla DNNs trained on unperturbed inputs. However, adversarial
training of DNNs is the benchmark technique for robustness, and sole reliance
on intrinsic robustness of the hardware may not be sufficient. In this work, we
explore the design of robust DNNs through the amalgamation of adversarial
training and intrinsic robustness of NVM crossbar-based analog hardware. First,
we study the noise stability of such networks on unperturbed inputs and observe
that internal activations of adversarially trained networks have lower
Signal-to-Noise Ratio (SNR), and are sensitive to noise compared to vanilla
networks. As a result, they suffer on average 2x performance degradation due to
the approximate computations on analog hardware. Noise stability analyses show
the instability of adversarially trained DNNs. On the other hand, for
adversarial images generated using Square Black Box attacks, ResNet-10/20
adversarially trained on CIFAR-10/100 display a robustness gain of 20-30%. For
adversarial images generated using Projected-Gradient-Descent (PGD) White-Box
attacks, adversarially trained DNNs present a 5-10% gain in robust accuracy due
to underlying NVM crossbar when $\epsilon_{attack}$ is greater than
$\epsilon_{train}$. Our results indicate that implementing adversarially
trained networks on analog hardware requires careful calibration between
hardware non-idealities and $\epsilon_{train}$ for optimum robustness and
performance.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)に基づくアプリケーションは、過去10年間で指数関数的に増加している。
計算要求の増大に合わせて、いくつかの非揮発性メモリ(NVM)クロスバーベースのアクセラレータが提案されている。
近年、研究者らはエネルギー効率と性能の向上に加えて、このような近似ハードウェアは敵対的攻撃に対する防御に本質的な堅牢性を持っていることを示した。
以前の研究では、未摂動入力で訓練されたバニラDNNの本質的なロバスト性を定量化していた。
しかし、DNNの逆行訓練はロバスト性のベンチマーク手法であり、ハードウェア固有のロバスト性のみに依存するだけでは不十分である。
本研究では,nvmクロスバー型アナログハードウェアの逆訓練と本質的ロバストネスの融合により,ロバストなdnnの設計を検討する。
まず,そのようなネットワークの非摂動入力におけるノイズ安定性について検討し,逆訓練ネットワークの内部アクティベーションがsnr(signal-to-noise ratio)が低く,バニラネットワークに比べてノイズに敏感であることを観察する。
その結果,アナログハードウェア上での近似計算により,平均2倍の性能劣化が生じた。
騒音安定性解析は, 対向訓練DNNの不安定性を示す。
一方、正方形のブラックボックス攻撃で生成した敵画像に対しては、CIFAR-10/100で訓練されたResNet-10/20は、20-30%の堅牢性向上を示す。
Projected-Gradient-Descent (PGD) White-Box攻撃によって生成された敵画像に対して、逆向きに訓練されたDNNは、$\epsilon_{ attack}$が$\epsilon_{train}$より大きい場合、基盤となるNVMクロスバーによる堅牢な精度が5-10%向上する。
その結果,アナログハードウェア上での対向学習ネットワークの実装には,ハードウェアの非理想性と$\epsilon_{train}$の厳密なキャリブレーションが必要であることがわかった。
関連論文リスト
- The Inherent Adversarial Robustness of Analog In-Memory Computing [2.435021773579434]
Deep Neural Network(DNN)アルゴリズムの重要な課題は、敵の攻撃に対する脆弱性である。
本稿では,位相変化メモリ(PCM)デバイスを用いたAIMCチップ上での予測を実験的に検証する。
ハードウェア・イン・ザ・ループ攻撃を行う際には、さらなる堅牢性も観察される。
論文 参考訳（メタデータ） (2024-11-11T14:29:59Z) - XploreNAS: Explore Adversarially Robust & Hardware-efficient Neural
Architectures for Non-ideal Xbars [2.222917681321253]
本研究は,XploreNASと呼ばれる2段階のアルゴリズム・ハードウェア協調最適化手法を提案する。
非理想的クロスバープラットフォームのための、ハードウェア効率が高く、逆向きに堅牢なニューラルアーキテクチャを検索する。
ベンチマークデータセットを用いたクロスバー実験では,検索したSubnetの対角ロバスト性は最大8-16%向上した。
論文 参考訳（メタデータ） (2023-02-15T16:44:18Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Robustness Certificates for Implicit Neural Networks: A Mixed Monotone
Contractive Approach [60.67748036747221]
暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。
入力逆流の摂動に関して、それらは不安定なままである。
本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-10T03:08:55Z) - Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。
我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。
逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
論文 参考訳（メタデータ） (2021-11-16T16:14:44Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-10-07T23:13:33Z) - HIRE-SNN: Harnessing the Inherent Robustness of Energy-Efficient Deep
Spiking Neural Networks by Training with Crafted Input Noise [13.904091056365765]
SNNトレーニングアルゴリズムは,入力ノイズを発生させるとともに,追加のトレーニング時間も発生しない。
通常の訓練された直接入力SNNと比較して、トレーニングされたモデルでは、最大13.7%の分類精度が向上した。
また,本モデルでは,レートコード入力を学習したSNNに対して,攻撃生成画像の分類性能が向上あるいは類似していることが特筆すべき点である。
論文 参考訳（メタデータ） (2021-10-06T16:48:48Z) - On the Intrinsic Robustness of NVM Crossbars Against Adversarial Attacks [6.592909460916497]
アナログコンピューティングの非理想的動作は、敵攻撃の有効性を低下させることを示す。
攻撃者がアナログハードウェアに気づいていない非適応攻撃では、アナログコンピューティングは固有の頑健さの程度が異なることを観察する。
論文 参考訳（メタデータ） (2020-08-27T09:36:50Z) - Rethinking Non-idealities in Memristive Crossbars for Adversarial
Robustness in Neural Networks [2.729253370269413]
ディープニューラルネットワーク(DNN)は、敵の攻撃に弱いことが示されている。
クロスバーな非イデアルは、MVMの実行時にエラーが発生するため、常に非評価されている。
そこで本研究では,本発明のハードウェア非理想性により,追加の最適化を伴わずに,マップ化されたDNNに対して対角的ロバスト性が得られることを示す。
論文 参考訳（メタデータ） (2020-08-25T22:45:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。