論文の概要: Neural Architecture Search of Hybrid Models for NPU-CIM Heterogeneous AR/VR Devices
- arxiv url: http://arxiv.org/abs/2410.08326v1
- Date: Thu, 10 Oct 2024 19:30:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 03:56:20.331833
- Title: Neural Architecture Search of Hybrid Models for NPU-CIM Heterogeneous AR/VR Devices
- Title（参考訳）: NPU-CIM異種AR/VRデバイスのハイブリッドモデルのニューラルネットワークによる探索
- Authors: Yiwei Zhao, Ziyun Li, Win-San Khwa, Xiaoyu Sun, Sai Qian Zhang, Syed Shakib Sarwar, Kleber Hugo Stangherlin, Yi-Lun Lu, Jorge Tomas Gomez, Jae-Sun Seo, Phillip B. Gibbons, Barbara De Salvo, Chiao Liu,
- Abstract要約: ヘテロジニアスエッジシステムのための効率的なハイブリッドCNN/ViTモデルを設計するためのニューラルネットワーク探索フレームワークであるH4H-NASを紹介する。
Algo/HW共同設計の結果、全体のレイテンシは56.08%、エネルギーは41.72%向上した。
- 参考スコア（独自算出の注目度）: 10.75997684204274
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Low-Latency and Low-Power Edge AI is essential for Virtual Reality and Augmented Reality applications. Recent advances show that hybrid models, combining convolution layers (CNN) and transformers (ViT), often achieve superior accuracy/performance tradeoff on various computer vision and machine learning (ML) tasks. However, hybrid ML models can pose system challenges for latency and energy-efficiency due to their diverse nature in dataflow and memory access patterns. In this work, we leverage the architecture heterogeneity from Neural Processing Units (NPU) and Compute-In-Memory (CIM) and perform diverse execution schemas to efficiently execute these hybrid models. We also introduce H4H-NAS, a Neural Architecture Search framework to design efficient hybrid CNN/ViT models for heterogeneous edge systems with both NPU and CIM. Our H4H-NAS approach is powered by a performance estimator built with NPU performance results measured on real silicon, and CIM performance based on industry IPs. H4H-NAS searches hybrid CNN/ViT models with fine granularity and achieves significant (up to 1.34%) top-1 accuracy improvement on ImageNet dataset. Moreover, results from our Algo/HW co-design reveal up to 56.08% overall latency and 41.72% energy improvements by introducing such heterogeneous computing over baseline solutions. The framework guides the design of hybrid network architectures and system architectures of NPU+CIM heterogeneous systems.
- Abstract（参考訳）: 低レイテンシと低消費電力エッジAIは、仮想現実および拡張現実アプリケーションに不可欠である。
近年の進歩は、畳み込み層(CNN)とトランスフォーマー(ViT)を組み合わせたハイブリッドモデルが、様々なコンピュータビジョンや機械学習(ML)タスクにおいて、より優れた精度/パフォーマンスのトレードオフを実現していることを示している。
しかし、ハイブリッドMLモデルは、データフローとメモリアクセスパターンの多様さにより、レイテンシとエネルギー効率にシステム上の課題を生じさせる可能性がある。
本研究では,ニューラルプロセッシングユニット(NPU)とコンピュート・イン・メモリ(CIM)のアーキテクチャの不均一性を生かし,これらのハイブリッドモデルを効率的に実行するために多様な実行スキーマを実行する。
また,NPUとCIMを併用したヘテロジニアスエッジシステムのための効率的なハイブリッドCNN/ViTモデルを設計するためのニューラルネットワーク探索フレームワークであるH4H-NASを紹介する。
我々のH4H-NASアプローチは、実シリコン上で測定されたNPU性能と産業用IPに基づくCIM性能で構築された性能推定器によって実現されている。
H4H-NASは、粒度の細かいハイブリッドCNN/ViTモデルを検索し、ImageNetデータセット上で重要な(最大1.34%)トップ1の精度向上を達成する。
さらに、Algo/HW共同設計の結果は56.08%の全体的なレイテンシと41.72%のエネルギー改善を実現している。
このフレームワークは、NPU+CIM異種システムのハイブリッドネットワークアーキテクチャとシステムアーキテクチャの設計をガイドする。
関連論文リスト
- Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。
DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。
本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
論文 参考訳（メタデータ） (2024-10-31T07:28:22Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - Towards Efficient Deployment of Hybrid SNNs on Neuromorphic and Edge AI Hardware [0.493599216374976]
本稿では,ニューロモルフィックとエッジコンピューティングの相乗的ポテンシャルを考察し,動的視覚センサが捉えたデータ処理に適した多目的機械学習(ML)システムを構築する。
我々は、PyTorchとLavaフレームワークを使用して、スパイキングニューラルネットワーク(SNN)と人工ニューラルネットワーク(ANN)を混合してハイブリッドモデルを構築し、訓練する。
論文 参考訳（メタデータ） (2024-07-11T17:40:39Z) - How to Learn More? Exploring Kolmogorov-Arnold Networks for Hyperspectral Image Classification [26.37105279142761]
Kolmogorov-Arnold Networks (KANs) は視覚変換器 (ViTs) の代替として提案された。
本研究では,複雑なハイパースペクトル画像(HSI)データ分類におけるkansの有効性を評価する。
そこで我々は,1D,2D,3Dkanを用いたハイブリッドアーキテクチャを開発し,提案する。
論文 参考訳（メタデータ） (2024-06-22T03:31:02Z) - GPU-RANC: A CUDA Accelerated Simulation Framework for Neuromorphic Architectures [1.3401966602181168]
ニューロモーフィックコンピューティングのための再構成可能なアーキテクチャ(RANC)のGPUによる実装について紹介する。
512個のニューロモルフィックコアMNIST推論アプリケーションに基づくRANCシミュレータのシリアルバージョンと比較して,最大780倍の高速化を示した。
論文 参考訳（メタデータ） (2024-04-24T21:08:21Z) - Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。
本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。
我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
論文 参考訳（メタデータ） (2024-03-26T16:33:12Z) - MaGNAS: A Mapping-Aware Graph Neural Architecture Search Framework for
Heterogeneous MPSoC Deployment [8.29394286023338]
ヘテロジニアスMPSoCプラットフォーム上でのビジョンGNNワークロードの効率的な処理を実現するための新しい設計マッピング手法を提案する。
MaGNASは、2階層の進化的探索を用いて最適なGNNを特定し、最高のパフォーマンストレードオフをもたらすペアリングをマッピングする。
我々の実験結果によると、MaGNASは1.57倍のレイテンシ速度を提供でき、Xavier MPSoCで実行される複数のビジョンデータセットとGPUのみのデプロイメントでは3.38倍エネルギー効率が向上している。
論文 参考訳（メタデータ） (2023-07-16T14:56:50Z) - Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。
本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。
疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
論文 参考訳（メタデータ） (2022-06-10T04:54:13Z) - A Battle of Network Structures: An Empirical Study of CNN, Transformer,
and MLP [121.35904748477421]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。
トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。
本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
論文 参考訳（メタデータ） (2021-08-30T06:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。