論文の概要: PIM-DRAM:Accelerating Machine Learning Workloads using Processing in
Memory based on DRAM Technology
- arxiv url: http://arxiv.org/abs/2105.03736v1
- Date: Sat, 8 May 2021 16:39:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-12 12:07:08.513577
- Title: PIM-DRAM:Accelerating Machine Learning Workloads using Processing in
Memory based on DRAM Technology
- Title(参考訳): PIM-DRAM:DRAM技術に基づくメモリ処理による機械学習ワークロードの高速化
- Authors: Sourjya Roy, Mustafa Ali and Anand Raghunathan
- Abstract要約: MLワークロードにおける行列ベクトル演算を高速化する処理インメモリ(PIM)プリミティブを提案する。
提案したアーキテクチャ,マッピング,データフローは,GPUよりも最大で23倍,6.5倍のメリットが得られることを示す。
- 参考スコア(独自算出の注目度): 2.6168147530506958
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Neural Networks (DNNs) have gained significant interest in the recent
past for plethora of applications such as image and video analytics, language
translation, and medical diagnosis. High memory bandwidth is required to keep
up with the needs of data-intensive DNN applications when implemented on a
von-Neumann hardware architecture as majority of the data resides in the main
memory. Therefore, processing in memory can provide a promising solution for
the memory wall bottleneck for ML workloads. In this work, we propose a
DRAM-based processing-in-memory (PIM) multiplication primitive coupled with
intra-bank accumulation to accelerate matrix vector operations in ML workloads.
Moreover, we propose a processing-in-memory DRAM bank architecture, data
mapping and dataflow based on the proposed primitive. System evaluations
performed on networks like AlexNet, VGG16 and ResNet18 show that the proposed
architecture, mapping, and data flow can provide up to 23x and 6.5x benefits
over a GPU and an ideal conventional (non-PIM) baseline architecture with
infinite compute bandwidth, respectively.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は、画像やビデオ分析、言語翻訳、医療診断など、多くの応用において、近年大きな関心を集めている。
大部分のデータがメインメモリに格納されているため、von-Neumannハードウェアアーキテクチャ上で実装される場合、データ集約型DNNアプリケーションのニーズに沿うために、高いメモリ帯域幅が要求される。
したがって、メモリ内の処理は、MLワークロードのメモリ壁ボトルネックに対する有望な解決策を提供することができる。
本研究では,DRAMベースの処理インメモリ(PIM)乗算プリミティブをバンク内蓄積と組み合わせて,MLワークロードにおける行列ベクトル演算を高速化する手法を提案する。
さらに,提案するプリミティブに基づくメモリ内DRAMバンクアーキテクチャ,データマッピング,データフローを提案する。
AlexNet、VGG16、ResNet18などのネットワーク上で実施されたシステム評価では、提案されたアーキテクチャ、マッピング、データフローは、GPUよりも最大で23倍、データフローは6.5倍の利点が得られる。
関連論文リスト
- Topology-aware Embedding Memory for Continual Learning on Expanding
Networks [69.21427519408016]
メモリリプレイ技術は、漸進的に蓄積されたユークリッドデータによる継続的な学習において大きな成功を収めている。
しかし、ネットワークの継続的な拡張にそれらを直接適用することは、潜在的なメモリ爆発問題につながる。
我々は、トポロジ-埋め込みメモリ(TEM)を備えた一般フレームワーク、すなわちTEMaware Decoupled Graph Neural Networks(PDGNN)を提案する。
本稿では,TEMを用いたTEMaware PDGNNが最先端技術,特に難易度の高いクラスインクリメンタルセッティングにおいて著しく優れていることを示す。
論文 参考訳(メタデータ) (2024-01-24T03:03:17Z) - IMBUE: In-Memory Boolean-to-CUrrent Inference ArchitecturE for Tsetlin
Machines [5.6634493664726495]
機械学習(ML)アプリケーションのためのインメモリコンピューティングは、並列性と局所性を活用するために計算を整理することで、フォン・ノイマンのボトルネックを修復する。
Resistive RAM(ReRAM)のような不揮発性メモリデバイスは、MLアプリケーションに有望なパフォーマンスを示す、統合的なスイッチングとストレージ機能を提供する。
本稿では,ReRAMトランジスタセルを用いたメモリ内Boolean-to-Current Inference Architecture (IMBUE)を提案する。
論文 参考訳(メタデータ) (2023-05-22T10:55:01Z) - Accelerating Neural Network Inference with Processing-in-DRAM: From the
Edge to the Cloud [9.927754948343326]
ニューラルネットワークの性能(およびエネルギー効率)は、計算またはメモリリソースによって拘束できる。
PIM(Processing-in-Memory)パラダイムは、メモリバウンドNNを高速化する実行可能なソリューションである。
NN性能とエネルギー効率向上のための3つの最先端PIMアーキテクチャを解析する。
論文 参考訳(メタデータ) (2022-09-19T11:46:05Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳(メタデータ) (2022-07-18T06:01:29Z) - NumS: Scalable Array Programming for the Cloud [82.827921577004]
タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。
これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。
LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
論文 参考訳(メタデータ) (2022-06-28T20:13:40Z) - Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。
MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文 参考訳(メタデータ) (2022-01-03T02:32:06Z) - Continual Learning Approach for Improving the Data and Computation
Mapping in Near-Memory Processing System [3.202860612193139]
ページと計算再マッピングによるデータ配置とリソース活用を最適化する人工知能メモリマッピング方式であるAIMMを提案する。
AIMMはニューラルネットワークを使用して、強化学習アルゴリズムを使用して訓練された実行中にほぼ最適なマッピングを実現します。
本研究では,AIMMが単一および複数プログラムシナリオにおけるベースラインNMP性能を最大70%と50%向上させたことを評価した。
論文 参考訳(メタデータ) (2021-04-28T09:50:35Z) - GradPIM: A Practical Processing-in-DRAM Architecture for Gradient
Descent [17.798991516056454]
本稿では,ディープニューラルネットワークトレーニングのパラメータ更新を高速化するメモリ内処理アーキテクチャGradPIMを提案する。
DDR4 SDRAMをバンクグループ並列性に拡張することで、ハードウェアコストと性能の観点から、PIMモジュールでの動作設計を効率化できる。
論文 参考訳(メタデータ) (2021-02-15T12:25:26Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳(メタデータ) (2020-10-14T09:03:36Z) - In-memory Implementation of On-chip Trainable and Scalable ANN for AI/ML
Applications [0.0]
本稿では,人工知能(AI)と機械学習(ML)アプリケーションを実現するための,ANNのためのインメモリコンピューティングアーキテクチャを提案する。
我々の新しいオンチップトレーニングとインメモリアーキテクチャは、プリチャージサイクル当たりの配列の複数行を同時にアクセスすることで、エネルギーコストを削減し、スループットを向上させる。
提案したアーキテクチャはIRISデータセットでトレーニングされ、以前の分類器と比較してMAC当たりのエネルギー効率が4,6倍に向上した。
論文 参考訳(メタデータ) (2020-05-19T15:36:39Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳(メタデータ) (2020-05-05T08:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。