Fugu-MT 論文翻訳(概要): Accelerating Neural Network Inference with Processing-in-DRAM: From the Edge to the Cloud

論文の概要: Accelerating Neural Network Inference with Processing-in-DRAM: From the Edge to the Cloud

arxiv url: http://arxiv.org/abs/2209.08938v1
Date: Mon, 19 Sep 2022 11:46:05 GMT
ステータス: 処理完了
システム内更新日: 2022-09-20 20:25:12.695199
Title: Accelerating Neural Network Inference with Processing-in-DRAM: From the Edge to the Cloud
Title（参考訳）: DRAM処理によるニューラルネットワーク推論の高速化:エッジからクラウドへ
Authors: Geraldo F. Oliveira, Juan G\'omez-Luna, Saugata Ghose, Amirali Boroumand, Onur Mutlu
Abstract要約: ニューラルネットワークの性能(およびエネルギー効率)は、計算またはメモリリソースによって拘束できる。 PIM(Processing-in-Memory)パラダイムは、メモリバウンドNNを高速化する実行可能なソリューションである。 NN性能とエネルギー効率向上のための3つの最先端PIMアーキテクチャを解析する。
参考スコア（独自算出の注目度）: 9.927754948343326
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural networks (NNs) are growing in importance and complexity. A neural network's performance (and energy efficiency) can be bound either by computation or memory resources. The processing-in-memory (PIM) paradigm, where computation is placed near or within memory arrays, is a viable solution to accelerate memory-bound NNs. However, PIM architectures vary in form, where different PIM approaches lead to different trade-offs. Our goal is to analyze, discuss, and contrast DRAM-based PIM architectures for NN performance and energy efficiency. To do so, we analyze three state-of-the-art PIM architectures: (1) UPMEM, which integrates processors and DRAM arrays into a single 2D chip; (2) Mensa, a 3D-stack-based PIM architecture tailored for edge devices; and (3) SIMDRAM, which uses the analog principles of DRAM to execute bit-serial operations. Our analysis reveals that PIM greatly benefits memory-bound NNs: (1) UPMEM provides 23x the performance of a high-end GPU when the GPU requires memory oversubscription for a general matrix-vector multiplication kernel; (2) Mensa improves energy efficiency and throughput by 3.0x and 3.1x over the Google Edge TPU for 24 Google edge NN models; and (3) SIMDRAM outperforms a CPU/GPU by 16.7x/1.4x for three binary NNs. We conclude that the ideal PIM architecture for NN models depends on a model's distinct attributes, due to the inherent architectural design choices.
Abstract（参考訳）: ニューラルネットワーク(NN)の重要性と複雑さが増している。ニューラルネットワークの性能(およびエネルギー効率)は、計算またはメモリリソースによって拘束できる。 PIM(Processing-in-Memory)パラダイムは、計算をメモリアレイの近くまたは内側に置くことで、メモリバウンドNNを高速化する実行可能なソリューションである。しかし、PIMアーキテクチャは形式によって異なり、異なるPIMアプローチが異なるトレードオフをもたらす。我々のゴールは、NN性能とエネルギー効率のためにDRAMベースのPIMアーキテクチャを分析し、議論し、対比することである。そこで我々は,(1)プロセッサとDRAMアレイを1つの2Dチップに統合するUPMEM,(2)エッジデバイスに適した3DスタックベースのPIMアーキテクチャであるMensa,(3)DRAMのアナログ原理を用いてビットシリアル演算を行うSIMDRAMの3つのアーキテクチャを解析した。 UPMEMはGPUが一般的な行列ベクトル乗算カーネルに対してメモリオーバーサブスクライブを必要とする場合のハイエンドGPUの性能を23倍に向上し、MensaはGoogle Edge TPUよりも効率を3倍、スループットを3倍に向上させ、SIMDRAMは3つのバイナリNNに対して16.7x/1.4倍のCPU/GPU性能を向上する。 NNモデルに対する理想的なPIMアーキテクチャは、固有のアーキテクチャ設計の選択のため、モデルの異なる属性に依存すると結論付けている。

関連論文リスト

vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文参考訳（メタデータ） (2024-07-22T14:37:58Z)
DDC-PIM: Efficient Algorithm/Architecture Co-design for Doubling Data Capacity of SRAM-based Processing-In-Memory [6.367916611208411]
等価データ容量を効果的に2倍にする効率的なアルゴリズム/アーキテクチャ共設計手法であるDDC-PIMを提案する。 DDC-PIMはMobileNetV2で約2.84タイム、EfficientNet-B0で約2.69タイム、精度の損失は無視できる。最先端のマクロと比較して、DDC-PIMは重量密度と面積効率をそれぞれ最大8.41タイムと2.75タイムに改善する。
論文参考訳（メタデータ） (2023-10-31T12:49:54Z)
INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文参考訳（メタデータ） (2023-08-11T04:24:39Z)
NicePIM: Design Space Exploration for Processing-In-Memory DNN Accelerators with 3D-Stacked-DRAM [10.802292525404994]
NicePIMはDRAM-PIMシステムのハードウェア構成を効率的に最適化できる。レイテンシとエネルギーコストを平均で37%と28%削減した高品質なDNNマッピングスキームを生成することができる。
論文参考訳（メタデータ） (2023-05-30T13:58:13Z)
GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文参考訳（メタデータ） (2022-07-18T06:01:29Z)
Memory-Oriented Design-Space Exploration of Edge-AI Hardware for XR Applications [5.529817156718514]
低消費電力エッジAI機能は、Metaverseのビジョンをサポートするためにデバイス上の拡張現実(XR)アプリケーションに不可欠である。本研究は,ハードウェア設計空間探索のためのハンド検出とアイセグメンテーションの2つの代表的XRワークロードについて検討する。どちらのアプリケーションでも、ディープニューラルネットワークをトレーニングし、量子化とハードウェア固有のボトルネックの影響を分析します。最先端の非揮発性メモリ技術(STT/SOT/VGSOT MRAM)をXR-AI推論パイプラインに統合した影響を評価した。
論文参考訳（メタデータ） (2022-06-08T11:18:02Z)
PIM-DRAM:Accelerating Machine Learning Workloads using Processing in Memory based on DRAM Technology [2.6168147530506958]
MLワークロードにおける行列ベクトル演算を高速化する処理インメモリ(PIM)プリミティブを提案する。提案したアーキテクチャ,マッピング,データフローは,GPUよりも最大で23倍,6.5倍のメリットが得られることを示す。
論文参考訳（メタデータ） (2021-05-08T16:39:24Z)
GradPIM: A Practical Processing-in-DRAM Architecture for Gradient Descent [17.798991516056454]
本稿では,ディープニューラルネットワークトレーニングのパラメータ更新を高速化するメモリ内処理アーキテクチャGradPIMを提案する。 DDR4 SDRAMをバンクグループ並列性に拡張することで、ハードウェアコストと性能の観点から、PIMモジュールでの動作設計を効率化できる。
論文参考訳（メタデータ） (2021-02-15T12:25:26Z)
SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文参考訳（メタデータ） (2021-01-04T18:54:07Z)
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文参考訳（メタデータ） (2020-07-14T18:50:12Z)
PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。