論文の概要: CiMNet: Towards Joint Optimization for DNN Architecture and Configuration for Compute-In-Memory Hardware
- arxiv url: http://arxiv.org/abs/2402.11780v2
- Date: Mon, 18 Mar 2024 15:25:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 23:12:03.478877
- Title: CiMNet: Towards Joint Optimization for DNN Architecture and Configuration for Compute-In-Memory Hardware
- Title(参考訳): CiMNet:DNNアーキテクチャとコンピュート・イン・メモリハードウェアの構成を共同で最適化する
- Authors: Souvik Kundu, Anthony Sarah, Vinay Joshi, Om J Omer, Sreenivas Subramoney,
- Abstract要約: 計算インメモリ(CiM)のための最適なサブネットワークとハードウェア構成を共同で検索するフレームワークであるCiMNetを提案する。
提案するフレームワークは、サブネットワークの性能とCiMハードウェア構成選択の間の複雑な相互作用を理解することができる。
- 参考スコア(独自算出の注目度): 6.308771129448823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the recent growth in demand for large-scale deep neural networks, compute in-memory (CiM) has come up as a prominent solution to alleviate bandwidth and on-chip interconnect bottlenecks that constrain Von-Neuman architectures. However, the construction of CiM hardware poses a challenge as any specific memory hierarchy in terms of cache sizes and memory bandwidth at different interfaces may not be ideally matched to any neural network's attributes such as tensor dimension and arithmetic intensity, thus leading to suboptimal and under-performing systems. Despite the success of neural architecture search (NAS) techniques in yielding efficient sub-networks for a given hardware metric budget (e.g., DNN execution time or latency), it assumes the hardware configuration to be frozen, often yielding sub-optimal sub-networks for a given budget. In this paper, we present CiMNet, a framework that jointly searches for optimal sub-networks and hardware configurations for CiM architectures creating a Pareto optimal frontier of downstream task accuracy and execution metrics (e.g., latency). The proposed framework can comprehend the complex interplay between a sub-network's performance and the CiM hardware configuration choices including bandwidth, processing element size, and memory size. Exhaustive experiments on different model architectures from both CNN and Transformer families demonstrate the efficacy of the CiMNet in finding co-optimized sub-networks and CiM hardware configurations. Specifically, for similar ImageNet classification accuracy as baseline ViT-B, optimizing only the model architecture increases performance (or reduces workload execution time) by 1.7x while optimizing for both the model architecture and hardware configuration increases it by 3.1x.
- Abstract(参考訳): 近年の大規模ディープニューラルネットワークの需要増加に伴い、コンピューティングインメモリ(CiM)は、Von-Neumanアーキテクチャを制約する帯域幅とオンチップの相互接続ボトルネックを緩和する重要なソリューションとして浮上した。
しかし、CiMハードウェアの構築は、異なるインタフェースにおけるキャッシュサイズとメモリ帯域幅の特定のメモリ階層が、テンソル次元や演算強度などのニューラルネットワークの属性と理想的に一致しない可能性があるため、最適化された性能の低いシステムに繋がる。
ニューラルネットワークサーチ(NAS)技術は、所定のハードウェアメトリック予算(例えば、DNNの実行時間やレイテンシ)に対して効率的なサブネットワークを提供するのに成功しているが、ハードウェア構成は凍結され、しばしば与えられた予算に対して最適なサブネットワークを提供する。
本稿では,CiMアーキテクチャのための最適なサブネットワークとハードウェア構成を共同で検索するフレームワークであるCiMNetを提案する。
提案フレームワークは、サブネットワークの性能と、帯域幅、処理要素サイズ、メモリサイズを含むCiMハードウェア構成の選択との間の複雑な相互作用を理解することができる。
CNNとTransformerファミリーの異なるモデルアーキテクチャに関する実験は、CiMNetが協調最適化サブネットワークとCiMハードウェア構成を見つける上で有効であることを実証している。
具体的には、ImageNetの分類精度をベースラインのViT-Bと同等にするために、モデルアーキテクチャのみを最適化するとパフォーマンスが1.7倍に向上し、モデルアーキテクチャとハードウェア構成の両方を最適化すると3.1倍に向上する。
関連論文リスト
- Core interface optimization for multi-core neuromorphic processors [5.391889175209394]
スパイキングニューラルネットワーク(SNN)は、低消費電力と低レイテンシを必要とするアプリケーションのエッジコンピューティングに対する有望なアプローチである。
大規模かつスケーラブルなSNNを実現するためには,効率的な非同期通信およびルーティングファブリックを開発する必要がある。
論文 参考訳(メタデータ) (2023-08-08T10:00:14Z) - Pruning-as-Search: Efficient Neural Architecture Search via Channel
Pruning and Structural Reparameterization [50.50023451369742]
プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。
提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
論文 参考訳(メタデータ) (2022-06-02T17:58:54Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳(メタデータ) (2021-09-21T09:57:21Z) - Reconfigurable co-processor architecture with limited numerical
precision to accelerate deep convolutional neural networks [0.38848561367220275]
畳み込みニューラルネットワーク(CNN)は、視覚システムやロボット工学などのディープラーニングアプリケーションで広く使われている。
本稿では,CNNを高速化するために,モデルに依存しない再構成可能なコプロセッシングアーキテクチャを提案する。
既存の解とは対照的に、算術表現や演算のための限定精度32bit Q-format固定点量子化を導入する。
論文 参考訳(メタデータ) (2021-08-21T09:50:54Z) - Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。
本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。
提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文 参考訳(メタデータ) (2021-08-10T00:53:39Z) - NAX: Co-Designing Neural Network and Hardware Architecture for
Memristive Xbar based Computing Systems [7.481928921197249]
Memristive Crossbar Arrays (MCAs) を用いたインメモリコンピューティング(IMC)ハードウェアは、Deep Neural Networks (DNN) を加速するために人気を集めている。
ニューラルネットワークとIMCベースのハードウェアアーキテクチャを共同設計する,効率的なニューラルネットワーク検索エンジンであるNAXを提案する。
論文 参考訳(メタデータ) (2021-06-23T02:27:00Z) - Towards Accurate and Compact Architectures via Neural Architecture
Transformer [95.4514639013144]
計算コストを増すことなくパフォーマンスを向上させるために、アーキテクチャ内の操作を最適化する必要がある。
我々は最適化問題をマルコフ決定プロセス(MDP)にキャストするニューラルアーキテクチャ変換器(NAT)法を提案している。
NAT++(Neural Architecture Transformer++)メソッドを提案し、アーキテクチャ最適化のパフォーマンスを改善するために、候補遷移のセットをさらに拡大する。
論文 参考訳(メタデータ) (2021-02-20T09:38:10Z) - Neural Architecture Optimization with Graph VAE [21.126140965779534]
連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。
フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
論文 参考訳(メタデータ) (2020-06-18T07:05:48Z) - TASO: Time and Space Optimization for Memory-Constrained DNN Inference [5.023660118588569]
畳み込みニューラルネットワーク(CNN)は、産業用ロボティクスや自動化システムからモバイルデバイスでの生体認証まで、多くの組み込みアプリケーションで使用されている。
本稿では、畳み込み層を実装するプリミティブ演算を選択するための整数線形計画法(ILP)に基づくCNNモデルの事前ドメイン固有最適化手法を提案する。
論文 参考訳(メタデータ) (2020-05-21T15:08:06Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳(メタデータ) (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。