論文の概要: NAX: Co-Designing Neural Network and Hardware Architecture for Memristive Xbar based Computing Systems

• arxiv url: http://arxiv.org/abs/2106.12125v1
• Date: Wed, 23 Jun 2021 02:27:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 00:07:48.304395
• Title: NAX: Co-Designing Neural Network and Hardware Architecture for Memristive Xbar based Computing Systems
• Title（参考訳）: NAX:memristive Xbarベースのコンピューティングシステムのためのニューラルネットワークとハードウェアアーキテクチャの共同設計
• Authors: Shubham Negi, Indranil Chakraborty, Aayush Ankit, Kaushik Roy
• Abstract要約: Memristive Crossbar Arrays (MCAs) を用いたインメモリコンピューティング(IMC)ハードウェアは、Deep Neural Networks (DNN) を加速するために人気を集めている。 ニューラルネットワークとIMCベースのハードウェアアーキテクチャを共同設計する,効率的なニューラルネットワーク検索エンジンであるNAXを提案する。
• 参考スコア（独自算出の注目度）: 7.481928921197249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Memory Computing (IMC) hardware using Memristive Crossbar Arrays (MCAs) are gaining popularity to accelerate Deep Neural Networks (DNNs) since it alleviates the "memory wall" problem associated with von-Neumann architecture. The hardware efficiency (energy, latency and area) as well as application accuracy (considering device and circuit non-idealities) of DNNs mapped to such hardware are co-dependent on network parameters, such as kernel size, depth etc. and hardware architecture parameters such as crossbar size. However, co-optimization of both network and hardware parameters presents a challenging search space comprising of different kernel sizes mapped to varying crossbar sizes. To that effect, we propose NAX -- an efficient neural architecture search engine that co-designs neural network and IMC based hardware architecture. NAX explores the aforementioned search space to determine kernel and corresponding crossbar sizes for each DNN layer to achieve optimal tradeoffs between hardware efficiency and application accuracy. Our results from NAX show that the networks have heterogeneous crossbar sizes across different network layers, and achieves optimal hardware efficiency and accuracy considering the non-idealities in crossbars. On CIFAR-10 and Tiny ImageNet, our models achieve 0.8%, 0.2% higher accuracy, and 17%, 4% lower EDAP (energy-delay-area product) compared to a baseline ResNet-20 and ResNet-18 models, respectively.
• Abstract（参考訳）: Memristive Crossbar Arrays (MCAs) を用いたインメモリコンピューティング(IMC)ハードウェアは、von-Neumannアーキテクチャに関連する"メモリウォール"問題を緩和するため、ディープニューラルネットワーク(DNN)を加速するために人気を集めている。 このようなハードウェアにマッピングされたDNNのハードウェア効率(エネルギー、レイテンシ、領域)とアプリケーション精度(デバイスと回路の非理想性)は、カーネルサイズ、深さなどのネットワークパラメータに共依存する。 クロスバーサイズのような ハードウェアアーキテクチャのパラメータです しかし、ネットワークパラメータとハードウェアパラメータの共最適化は、様々なクロスバーサイズにマッピングされた異なるカーネルサイズからなる困難な探索空間を示している。 そこで我々は,ニューラルネットワークとiccベースのハードウェアアーキテクチャを共設計する効率的なニューラルネットワーク検索エンジンnaxを提案する。 NAXは前述の検索空間を探索し、各DNN層のカーネルと対応するクロスバーサイズを決定し、ハードウェア効率とアプリケーション精度の最適なトレードオフを実現する。 NAXの結果,ネットワークは異なるネットワーク層にまたがって異質なクロスバーサイズを持ち,クロスバーの非理想性を考慮した最適ハードウェア効率と精度が得られた。 CIFAR-10 と Tiny ImageNet では,ベースラインの ResNet-20 と ResNet-18 と比較して0.8%,0.2%,17%,4% の EDAP (Energy-delay-area product) を実現している。

関連論文リスト

• RNC: Efficient RRAM-aware NAS and Compilation for DNNs on Resource-Constrained Edge Devices [0.30458577208819987]
  我々は抵抗性ランダムアクセスメモリ(RRAM)に基づく加速器のためのエッジフレンドリーなディープニューラルネットワーク(DNN)の開発を目指している。 本稿では,特定のハードウェア制約を満たす最適化ニューラルネットワークを探索するための,エッジコンパイルとリソース制約付きRRAM対応ニューラルネットワーク探索(NAS)フレームワークを提案する。 NASが速度に最適化した結果のモデルは5x-30倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-09-27T15:35:36Z)
• CiMNet: Towards Joint Optimization for DNN Architecture and Configuration for Compute-In-Memory Hardware [6.308771129448823]
  計算インメモリ(CiM)のための最適なサブネットワークとハードウェア構成を共同で検索するフレームワークであるCiMNetを提案する。 提案するフレームワークは、サブネットワークの性能とCiMハードウェア構成選択の間の複雑な相互作用を理解することができる。
  論文  参考訳（メタデータ） (2024-02-19T02:12:07Z)
• Flexible Channel Dimensions for Differentiable Architecture Search [50.33956216274694]
  本稿では,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。 提案するフレームワークは,タスク精度と推論遅延において,従来の手法と等価なDNNアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:21:38Z)
• XPert: Peripheral Circuit & Neural Architecture Co-search for Area and Energy-efficient Xbar-based Computing [13.499706125321605]
  XPertは、最適性能を達成するために、ネットワークアーキテクチャと周辺パラメータを共同で研究する。 VGG16ベースラインと比較して、XPert 10.24x (4.7x)低いEDAP、1.72x (1.62x)高いTOPS/W,1.93x (3x)高いTOPS/mm2で、CIFAR10データセットの92.46% (56.7%)の精度である。
  論文  参考訳（メタデータ） (2023-03-30T18:23:20Z)
• XploreNAS: Explore Adversarially Robust & Hardware-efficient Neural Architectures for Non-ideal Xbars [2.222917681321253]
  本研究は,XploreNASと呼ばれる2段階のアルゴリズム・ハードウェア協調最適化手法を提案する。 非理想的クロスバープラットフォームのための、ハードウェア効率が高く、逆向きに堅牢なニューラルアーキテクチャを検索する。 ベンチマークデータセットを用いたクロスバー実験では,検索したSubnetの対角ロバスト性は最大8-16%向上した。
  論文  参考訳（メタデータ） (2023-02-15T16:44:18Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• Greedy Network Enlarging [53.319011626986004]
  本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。 異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。 GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
  論文  参考訳（メタデータ） (2021-07-31T08:36:30Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Hardware-Centric AutoML for Mixed-Precision Quantization [34.39845532939529]
  従来の量子化アルゴリズムは、異なるハードウェアアーキテクチャを無視し、すべてのレイヤを均一に量子化する。 本稿では、強化学習を利用して量子化ポリシーを自動的に決定するハードウェア・アウェア自動量子化(HAQ)フレームワークを紹介する。 本フレームワークは, 固定ビット幅(8ビット)の量子化と比較して, 遅延を1.4-1.95x, エネルギー消費を1.9x削減した。
  論文  参考訳（メタデータ） (2020-08-11T17:30:22Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。