論文の概要: Rethinking Non-idealities in Memristive Crossbars for Adversarial
Robustness in Neural Networks
- arxiv url: http://arxiv.org/abs/2008.11298v2
- Date: Wed, 28 Apr 2021 00:45:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 03:52:31.289638
- Title: Rethinking Non-idealities in Memristive Crossbars for Adversarial
Robustness in Neural Networks
- Title（参考訳）: ニューラルネットワークの対向ロバスト性に対するメムリシティブクロスバーの非理想性の再考
- Authors: Abhiroop Bhattacharjee and Priyadarshini Panda
- Abstract要約: ディープニューラルネットワーク(DNN)は、敵の攻撃に弱いことが示されている。
クロスバーな非イデアルは、MVMの実行時にエラーが発生するため、常に非評価されている。
そこで本研究では,本発明のハードウェア非理想性により,追加の最適化を伴わずに,マップ化されたDNNに対して対角的ロバスト性が得られることを示す。
- 参考スコア（独自算出の注目度）: 2.729253370269413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) have been shown to be prone to adversarial
attacks. Memristive crossbars, being able to perform
Matrix-Vector-Multiplications (MVMs) efficiently, are used to realize DNNs on
hardware. However, crossbar non-idealities have always been devalued since they
cause errors in performing MVMs, leading to computational accuracy losses in
DNNs. Several software-based defenses have been proposed to make DNNs
adversarially robust. However, no previous work has demonstrated the advantage
conferred by the crossbar non-idealities in unleashing adversarial robustness.
We show that the intrinsic hardware non-idealities yield adversarial robustness
to the mapped DNNs without any additional optimization. We evaluate the
adversarial resilience of state-of-the-art DNNs (VGG8 & VGG16 networks) using
benchmark datasets (CIFAR-10, CIFAR-100 & Tiny Imagenet) across various
crossbar sizes. We find that crossbar non-idealities unleash significantly
greater adversarial robustness (>10-20%) in crossbar-mapped DNNs than baseline
software DNNs. We further assess the performance of our approach with other
state-of-the-art efficiency-driven adversarial defenses and find that our
approach performs significantly well in terms of reducing adversarial loss.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、敵の攻撃に弱いことが示されている。
mvm(matrix-vector-multiplications)を効率的に実行できるmemristive crossbarsは、ハードウェア上でdnnを実現するために使用される。
しかし、MVMの実行時にエラーが発生し、DNNの計算精度が低下するため、クロスバーな非イデオロギーは常に非評価されている。
DNNを逆向きに堅牢にするために、いくつかのソフトウェアベースの防御策が提案されている。
しかし、敵意のない強固さを解き放つクロスバーの非理想性によって与えられる利点は、以前の研究では証明されていない。
また,本質的なハードウェアの非理想性は,付加的な最適化を伴わずにマッピングされたdnnに対して敵対的ロバスト性をもたらすことを示した。
各種クロスバーサイズのベンチマークデータセット(CIFAR-10, CIFAR-100, Tiny Imagenet)を用いて, 最先端DNN(VGG8, VGG16ネットワーク)の逆レジリエンスを評価する。
クロスバー非イデアル性は、ベースラインソフトウェアDNNよりも、クロスバーマップDNNにおける敵ロバスト性(>10-20%)が著しく大きいことがわかった。
我々は,我々のアプローチが他の最先端の効率性に基づく敵対的防御と合致する性能を更に評価し,敵の損失を減らすという点で,我々のアプローチが有意な効果を示すことを見出した。
関連論文リスト
- A Geometrical Approach to Evaluate the Adversarial Robustness of Deep
Neural Networks [52.09243852066406]
対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。
我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
論文 参考訳（メタデータ） (2023-10-10T09:39:38Z) - XploreNAS: Explore Adversarially Robust & Hardware-efficient Neural
Architectures for Non-ideal Xbars [2.222917681321253]
本研究は,XploreNASと呼ばれる2段階のアルゴリズム・ハードウェア協調最適化手法を提案する。
非理想的クロスバープラットフォームのための、ハードウェア効率が高く、逆向きに堅牢なニューラルアーキテクチャを検索する。
ベンチマークデータセットを用いたクロスバー実験では,検索したSubnetの対角ロバスト性は最大8-16%向上した。
論文 参考訳（メタデータ） (2023-02-15T16:44:18Z) - Boosting Adversarial Robustness From The Perspective of Effective Margin
Regularization [58.641705224371876]
ディープニューラルネットワーク(DNN)の敵対的脆弱性は、ここ数年で積極的に研究されている。
本稿では,クロスエントロピー損失のスケール変動特性について検討する。
提案した有効マージン正則化(EMR)は,大きな有効マージンを学習し,標準トレーニングと対向トレーニングの両方において対向的ロバスト性を高めることを示す。
論文 参考訳（メタデータ） (2022-10-11T03:16:56Z) - Examining the Robustness of Spiking Neural Networks on Non-ideal
Memristive Crossbars [4.184276171116354]
ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。
本研究では,SNNの性能に及ぼすクロスバー非理想性と本質性の影響について検討した。
論文 参考訳（メタデータ） (2022-06-20T07:07:41Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Examining and Mitigating the Impact of Crossbar Non-idealities for
Accurate Implementation of Sparse Deep Neural Networks [2.4283778735260686]
非理想のクロスバーにマッピングされた未処理のDNNと比較して、スパースディープニューラルネットワーク(DNN)が深刻な精度の損失をもたらすことを示す。
我々は,クロスバー列再構成とWCT (Weight-Constrained-Training) の2つの緩和手法を提案する。
これらは、クロスバー上の低コンダクタンスシナプスの割合を増大させ、計算精度を向上させることで、非イデアルを緩和するのに役立つ。
論文 参考訳（メタデータ） (2022-01-13T21:56:48Z) - Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。
我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。
逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
論文 参考訳（メタデータ） (2021-11-16T16:14:44Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-10-07T23:13:33Z) - On the Noise Stability and Robustness of Adversarially Trained Networks
on NVM Crossbars [6.506883928959601]
我々は,NVMクロスバー型アナログハードウェアの対角的トレーニングと本質的ロバスト性を融合して,ロバストなディープニューラルネットワーク(DNN)の設計について検討する。
この結果から, ハードウェアの非理想性と, 最適ロバスト性と性能のために$epsilon_train$を慎重に校正する必要があることが示唆された。
論文 参考訳（メタデータ） (2021-09-19T04:59:39Z) - An Integrated Approach to Produce Robust Models with High Efficiency [9.476463361600828]
量子化と構造単純化はモバイルデバイスにディープニューラルネットワーク(DNN)を適用するための有望な方法である。
本研究では, 収束緩和量子化アルゴリズムであるBinary-Relax (BR) を, 頑健な逆学習モデルResNets Ensembleに適用することにより, 両特徴の獲得を試みる。
我々は、DNNが自然の精度を維持し、チャネルの間隔を改善するのに役立つトレードオフ損失関数を設計する。
論文 参考訳（メタデータ） (2020-08-31T00:44:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。