論文の概要: SIAM: Chiplet-based Scalable In-Memory Acceleration with Mesh for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2108.08903v1
• Date: Sat, 14 Aug 2021 12:34:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-29 15:10:28.512986
• Title: SIAM: Chiplet-based Scalable In-Memory Acceleration with Mesh for Deep Neural Networks
• Title（参考訳）: siam: ディープニューラルネットワークのためのチップレットベースのスケーラブルなインメモリアクセラレーション
• Authors: Gokul Krishnan, Sumit K. Mandal, Manvitha Pannala, Chaitali Chakrabarti, Jae-sun Seo, Umit Y. Ogras, Yu Cao
• Abstract要約: 2.5D統合またはチップレットベースのアーキテクチャは、複数の小さなチップ(チップレット)を相互接続し、大きなコンピュータシステムを形成する。 本稿では,チップレットを用いたIMCの性能評価のためのベンチマークシミュレータSIAMを提案する。
• 参考スコア（独自算出の注目度）: 10.70992106108285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-memory computing (IMC) on a monolithic chip for deep learning faces dramatic challenges on area, yield, and on-chip interconnection cost due to the ever-increasing model sizes. 2.5D integration or chiplet-based architectures interconnect multiple small chips (i.e., chiplets) to form a large computing system, presenting a feasible solution beyond a monolithic IMC architecture to accelerate large deep learning models. This paper presents a new benchmarking simulator, SIAM, to evaluate the performance of chiplet-based IMC architectures and explore the potential of such a paradigm shift in IMC architecture design. SIAM integrates device, circuit, architecture, network-on-chip (NoC), network-on-package (NoP), and DRAM access models to realize an end-to-end system. SIAM is scalable in its support of a wide range of deep neural networks (DNNs), customizable to various network structures and configurations, and capable of efficient design space exploration. We demonstrate the flexibility, scalability, and simulation speed of SIAM by benchmarking different state-of-the-art DNNs with CIFAR-10, CIFAR-100, and ImageNet datasets. We further calibrate the simulation results with a published silicon result, SIMBA. The chiplet-based IMC architecture obtained through SIAM shows 130$\times$ and 72$\times$ improvement in energy-efficiency for ResNet-50 on the ImageNet dataset compared to Nvidia V100 and T4 GPUs.
• Abstract（参考訳）: ディープラーニングのためのモノリシックなチップ上でのインメモリコンピューティング(IMC)は、モデルサイズの増加に伴い、領域、収量、オンチップの相互接続コストに劇的な課題に直面している。 2.5d統合あるいはchipletベースのアーキテクチャは、複数の小さなチップ(チップレットなど)を相互接続して大規模なコンピューティングシステムを形成し、モノリシックなiccアーキテクチャを超えて実現可能なソリューションを示し、大規模ディープラーニングモデルを加速する。 本稿では,チップレットベースのIMCアーキテクチャの性能評価を行うベンチマークシミュレータSIAMを提案し,IMCアーキテクチャ設計におけるそのようなパラダイムシフトの可能性を探る。 SIAMはデバイス、回路、アーキテクチャ、ネットワークオンチップ(NoC)、ネットワークオンパッケージ(NoP)、DRAMアクセスモデルを統合し、エンドツーエンドシステムを実現する。 SIAMは広範囲のディープニューラルネットワーク(DNN)をサポートし、さまざまなネットワーク構造や構成に合わせてカスタマイズ可能で、効率的な設計空間探索が可能である。 CIFAR-10, CIFAR-100, ImageNetデータセットを用いて, 最先端DNNのベンチマークを行い, SIAMの柔軟性, スケーラビリティ, シミュレーション速度を示す。 さらに,シリコーンによるシミュレーション結果をSIMBAでキャリブレーションする。 SIAMを通じて得られたチップレットベースのIMCアーキテクチャは、Nvidia V100やT4 GPUと比較して、ImageNetデータセット上でResNet-50のエネルギー効率が130$\times$と72$\times$改善されている。

関連論文リスト

• Neural Architecture Search of Hybrid Models for NPU-CIM Heterogeneous AR/VR Devices [10.75997684204274]
  ヘテロジニアスエッジシステムのための効率的なハイブリッドCNN/ViTモデルを設計するためのニューラルネットワーク探索フレームワークであるH4H-NASを紹介する。 Algo/HW共同設計の結果、全体のレイテンシは56.08%、エネルギーは41.72%向上した。
  論文  参考訳（メタデータ） (2024-10-10T19:30:34Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• CiMNet: Towards Joint Optimization for DNN Architecture and Configuration for Compute-In-Memory Hardware [6.308771129448823]
  計算インメモリ(CiM)のための最適なサブネットワークとハードウェア構成を共同で検索するフレームワークであるCiMNetを提案する。 提案するフレームワークは、サブネットワークの性能とCiMハードウェア構成選択の間の複雑な相互作用を理解することができる。
  論文  参考訳（メタデータ） (2024-02-19T02:12:07Z)
• Heterogeneous Integration of In-Memory Analog Computing Architectures with Tensor Processing Units [0.0]
  本稿では,IMACユニットとエッジTPUを統合してモバイルCNNの性能を向上させる,新しい,異種,混合信号,混合精度アーキテクチャを提案する。 本稿では,TPU-IMACアーキテクチャ上にモデルをデプロイする際の潜在的な精度低下を軽減するために,混合精度トレーニング手法を取り入れた統合学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-18T19:44:56Z)
• Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms [59.03426963238452]
  モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。 ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-03-15T09:38:15Z)
• Using Machine Learning at Scale in HPC Simulations with SmartSim: An Application to Ocean Climate Modeling [52.77024349608834]
  We demonstrate the first climate-scale, numerical ocean Simulations improve through distributed, online inference of Deep Neural Networks (DNN) using SmartSim。 SmartSimは、従来のHPCシミュレーションのためのオンライン分析と機械学習(ML)を可能にするためのライブラリです。
  論文  参考訳（メタデータ） (2021-04-13T19:27:28Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• Larq Compute Engine: Design, Benchmark, and Deploy State-of-the-Art Binarized Neural Networks [2.0584583078037633]
  本稿では,世界最速のバイナリニューラルネットワーク(BNN)推論エンジンであるLar Computeq Engineを紹介する。 LCEは、バイナリ操作の高度に最適化された実装を提供し、Pixel 1の完全な精度と比較して、バイナリの畳み込みを8.5から18.5倍加速する。 我々は、ImageNetのレイテンシと精度で既存のバイナリネットワークよりも優れた、シンプルで再現しやすいBNNであるQuickNetを開発した。
  論文  参考訳（メタデータ） (2020-11-18T16:56:14Z)
• STONNE: A Detailed Architectural Simulator for Flexible Neural Network Accelerators [5.326345912766044]
  STONNEはサイクル精度が高く、高度にモジュール化され、高度に拡張可能なシミュレーションフレームワークである。 一般に公開されているBSV符号化MAERIの実装の性能結果にどのように近づくかを示す。
  論文  参考訳（メタデータ） (2020-06-10T19:20:52Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。