論文の概要: XploreNAS: Explore Adversarially Robust & Hardware-efficient Neural Architectures for Non-ideal Xbars

• arxiv url: http://arxiv.org/abs/2302.07769v1
• Date: Wed, 15 Feb 2023 16:44:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-16 14:31:38.855947
• Title: XploreNAS: Explore Adversarially Robust & Hardware-efficient Neural Architectures for Non-ideal Xbars
• Title（参考訳）: XploreNAS:非理想的Xbarのための逆ロバストでハードウェア効率の良いニューラルネットワーク
• Authors: Abhiroop Bhattacharjee, Abhishek Moitra, and Priyadarshini Panda
• Abstract要約: 本研究は,XploreNASと呼ばれる2段階のアルゴリズム・ハードウェア協調最適化手法を提案する。 非理想的クロスバープラットフォームのための、ハードウェア効率が高く、逆向きに堅牢なニューラルアーキテクチャを検索する。 ベンチマークデータセットを用いたクロスバー実験では,検索したSubnetの対角ロバスト性は最大8-16%向上した。
• 参考スコア（独自算出の注目度）: 2.222917681321253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compute In-Memory platforms such as memristive crossbars are gaining focus as they facilitate acceleration of Deep Neural Networks (DNNs) with high area and compute-efficiencies. However, the intrinsic non-idealities associated with the analog nature of computing in crossbars limits the performance of the deployed DNNs. Furthermore, DNNs are shown to be vulnerable to adversarial attacks leading to severe security threats in their large-scale deployment. Thus, finding adversarially robust DNN architectures for non-ideal crossbars is critical to the safe and secure deployment of DNNs on the edge. This work proposes a two-phase algorithm-hardware co-optimization approach called XploreNAS that searches for hardware-efficient & adversarially robust neural architectures for non-ideal crossbar platforms. We use the one-shot Neural Architecture Search (NAS) approach to train a large Supernet with crossbar-awareness and sample adversarially robust Subnets therefrom, maintaining competitive hardware-efficiency. Our experiments on crossbars with benchmark datasets (SVHN, CIFAR10 & CIFAR100) show upto ~8-16% improvement in the adversarial robustness of the searched Subnets against a baseline ResNet-18 model subjected to crossbar-aware adversarial training. We benchmark our robust Subnets for Energy-Delay-Area-Products (EDAPs) using the Neurosim tool and find that with additional hardware-efficiency driven optimizations, the Subnets attain ~1.5-1.6x lower EDAPs than ResNet-18 baseline.
• Abstract（参考訳）: メムリシティブクロスバーのような計算インメモリプラットフォームは、高い領域と計算効率でディープニューラルネットワーク(DNN)の加速を促進することで注目されている。 しかし、クロスバーにおける計算の類似性に関連する本質的な非理想性は、デプロイされたDNNの性能を制限している。 さらに、DNNは敵の攻撃に弱いことが示され、大規模な展開において深刻なセキュリティ上の脅威が生じる。 したがって、非理想のクロスバーに対して逆向きに堅牢なDNNアーキテクチャを見つけることは、エッジ上でのDNNの安全かつセキュアなデプロイに不可欠である。 この研究はXploreNASと呼ばれる二相アルゴリズム-ハードウェア共最適化アプローチを提案し、非理想的クロスバープラットフォームのためのハードウェア効率と対角的堅牢なニューラルネットワークアーキテクチャを探索する。 我々はone-shot neural architecture search (nas) アプローチを用いて,クロスバー認識とサンプルロバストなサブネットを用いた大規模スーパーネットのトレーニングを行い,ハードウェア効率の競争力を維持した。 ベンチマークデータセット(svhn、cifar10、cifar100)を用いたクロスバー実験では、クロスバー対応の対向学習を受けたベースラインresnet-18モデルに対する検索サブネットの対向ロバスト性が8-16%向上した。 我々は,neurosimツールを用いたエネルギデレーエリア製品(edaps)のためのロバストなサブネットのベンチマークを行い,ハードウェア効率による最適化により,resnet-18ベースラインよりも1.5～1.6倍低いedapが得られることを確認した。

関連論文リスト

• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• RoHNAS: A Neural Architecture Search Framework with Conjoint Optimization for Adversarial Robustness and Hardware Efficiency of Convolutional and Capsule Networks [10.946374356026679]
  RoHNASは、Deep Neural Network(DNN)の対向ロバスト性とハードウェア効率を共同で最適化する新しいフレームワークである。 探索時間を短縮するため、RoHNASはNASフローで使用するデータセット毎に、逆摂動の適切な値を分析し、選択する。
  論文  参考訳（メタデータ） (2022-10-11T09:14:56Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-10-07T23:13:33Z)
• On the Noise Stability and Robustness of Adversarially Trained Networks on NVM Crossbars [6.506883928959601]
  我々は,NVMクロスバー型アナログハードウェアの対角的トレーニングと本質的ロバスト性を融合して,ロバストなディープニューラルネットワーク(DNN)の設計について検討する。 この結果から, ハードウェアの非理想性と, 最適ロバスト性と性能のために$epsilon_train$を慎重に校正する必要があることが示唆された。
  論文  参考訳（メタデータ） (2021-09-19T04:59:39Z)
• NAX: Co-Designing Neural Network and Hardware Architecture for Memristive Xbar based Computing Systems [7.481928921197249]
  Memristive Crossbar Arrays (MCAs) を用いたインメモリコンピューティング(IMC)ハードウェアは、Deep Neural Networks (DNN) を加速するために人気を集めている。 ニューラルネットワークとIMCベースのハードウェアアーキテクチャを共同設計する,効率的なニューラルネットワーク検索エンジンであるNAXを提案する。
  論文  参考訳（メタデータ） (2021-06-23T02:27:00Z)
• Efficiency-driven Hardware Optimization for Adversarially Robust Neural Networks [3.125321230840342]
  効率性の高いハードウェア最適化を通じて、Deep Neural Networks(DNN)の対比ロバスト性に対処する方法に焦点を当てます。 そのようなアプローチの1つは、低電力運転をもたらす供給スケーリング(Vdd)を可能にするハイブリッド6T-8TセルによるおよそのデジタルCMOSメモリです。 別のメモリ最適化アプローチは、低エネルギーと面積の要件でマトリックス乗算(MVM)を効率的に実行する記念的なクロスバーの作成を含む。
  論文  参考訳（メタデータ） (2021-05-09T19:26:25Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Rethinking Non-idealities in Memristive Crossbars for Adversarial Robustness in Neural Networks [2.729253370269413]
  ディープニューラルネットワーク(DNN)は、敵の攻撃に弱いことが示されている。 クロスバーな非イデアルは、MVMの実行時にエラーが発生するため、常に非評価されている。 そこで本研究では,本発明のハードウェア非理想性により,追加の最適化を伴わずに,マップ化されたDNNに対して対角的ロバスト性が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-25T22:45:34Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。