論文の概要: PENDRAM: Enabling High-Performance and Energy-Efficient Processing of Deep Neural Networks through a Generalized DRAM Data Mapping Policy
- arxiv url: http://arxiv.org/abs/2408.02412v1
- Date: Mon, 5 Aug 2024 12:11:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 13:37:05.826776
- Title: PENDRAM: Enabling High-Performance and Energy-Efficient Processing of Deep Neural Networks through a Generalized DRAM Data Mapping Policy
- Title（参考訳）: PENDRAM:汎用DRAMデータマッピングポリシによるディープニューラルネットワークの高性能・高効率処理の実現
- Authors: Rachmad Vidya Wicaksana Putra, Muhammad Abdullah Hanif, Muhammad Shafique,
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は、機械学習タスクを解決する最先端のソリューションとして登場した。
CNNアクセラレータは、高オフチップメモリ(DRAM)アクセスレイテンシとエネルギのために、パフォーマンスとエネルギー効率の課題に直面している。
本稿では,高性能でエネルギー効率の良いCNN加速を実現する新しい設計空間探索手法であるPENDRAMを提案する。
- 参考スコア（独自算出の注目度）: 6.85785397160228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional Neural Networks (CNNs), a prominent type of Deep Neural Networks (DNNs), have emerged as a state-of-the-art solution for solving machine learning tasks. To improve the performance and energy efficiency of CNN inference, the employment of specialized hardware accelerators is prevalent. However, CNN accelerators still face performance- and energy-efficiency challenges due to high off-chip memory (DRAM) access latency and energy, which are especially crucial for latency- and energy-constrained embedded applications. Moreover, different DRAM architectures have different profiles of access latency and energy, thus making it challenging to optimize them for high performance and energy-efficient CNN accelerators. To address this, we present PENDRAM, a novel design space exploration methodology that enables high-performance and energy-efficient CNN acceleration through a generalized DRAM data mapping policy. Specifically, it explores the impact of different DRAM data mapping policies and DRAM architectures across different CNN partitioning and scheduling schemes on the DRAM access latency and energy, then identifies the pareto-optimal design choices. The experimental results show that our DRAM data mapping policy improves the energy-delay-product of DRAM accesses in the CNN accelerator over other mapping policies by up to 96%. In this manner, our PENDRAM methodology offers high-performance and energy-efficient CNN acceleration under any given DRAM architectures for diverse embedded AI applications.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、機械学習タスクを解決するための最先端のソリューションとして登場した。
CNN推論の性能とエネルギー効率を向上させるため、特殊なハードウェアアクセラレーターの利用が一般的である。
しかし、CNNアクセラレータは、高オフチップメモリ(DRAM)アクセスレイテンシとエネルギのため、パフォーマンスとエネルギー効率の課題に直面している。
さらに、異なるDRAMアーキテクチャはアクセスレイテンシとエネルギのプロファイルが異なるため、高性能でエネルギー効率のよいCNNアクセラレータ向けに最適化することは困難である。
そこで本研究では,汎用DRAMデータマッピングポリシを通じて,高性能でエネルギー効率の高いCNN加速を実現する新しい設計空間探索手法であるPENDRAMを提案する。
具体的には、異なるDRAMデータマッピングポリシーと、異なるCNNパーティショニングおよびスケジューリングスキームにわたるDRAMアーキテクチャが、DRAMアクセスのレイテンシとエネルギに与える影響を調査し、最適設計選択を識別する。
実験結果から,我々のDRAMデータマッピングポリシは,CNNアクセラレータにおけるDRAMアクセスのエネルギー遅延生成を,他のマッピングポリシよりも最大96%向上することが示された。
このようにして、当社のPENDRAM方法論は、様々な組み込みAIアプリケーションに対して、任意のDRAMアーキテクチャの下で、高性能でエネルギー効率の良いCNN加速を提供する。
関連論文リスト
- Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳（メタデータ） (2023-12-14T09:46:16Z) - Fast GraspNeXt: A Fast Self-Attention Neural Network Architecture for
Multi-task Learning in Computer Vision Tasks for Robotic Grasping on the Edge [80.88063189896718]
アーキテクチャと計算の複雑さが高いと、組み込みデバイスへのデプロイに適さない。
Fast GraspNeXtは、ロボットグルーピングのためのコンピュータビジョンタスクに埋め込まれたマルチタスク学習に適した、高速な自己認識型ニューラルネットワークアーキテクチャである。
論文 参考訳（メタデータ） (2023-04-21T18:07:14Z) - EnforceSNN: Enabling Resilient and Energy-Efficient Spiking Neural
Network Inference considering Approximate DRAMs for Embedded Systems [15.115813664357436]
スパイキングニューラルネットワーク(SNN)は、教師なし設定下で高い精度と低い運用電力/エネルギーを達成する能力を示している。
本稿では、低電圧DRAMを用いたレジリエンスおよびエネルギー効率の高いSNN推論のためのソリューションを提供する新しい設計フレームワークであるEnforceSNNを提案する。
論文 参考訳（メタデータ） (2023-04-08T15:15:11Z) - Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
適応型ニューラルネットワークの動的対向攻撃問題について検討する。
本稿では,LGM(Leaded Gradient Method)を提案する。
我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
論文 参考訳（メタデータ） (2022-10-15T01:32:08Z) - Dynamics-aware Adversarial Attack of 3D Sparse Convolution Network [75.1236305913734]
ディープニューラルネットワークにおける動的に認識される敵攻撃問題について検討する。
ほとんどの既存の敵攻撃アルゴリズムは基本的な前提の下で設計されており、ネットワークアーキテクチャは攻撃プロセス全体を通して固定されている。
本稿では,LGM(Leaded Gradient Method)を提案する。
論文 参考訳（メタデータ） (2021-12-17T10:53:35Z) - ATRIA: A Bit-Parallel Stochastic Arithmetic Based Accelerator for
In-DRAM CNN Processing [0.5257115841810257]
ATRIAは、CNNの高速推論のための新しいビット-pArallel sTochastic aRithmeticベースのIn-DRAM加速器である。
ATRIAはCNNの推測精度がわずか3.5%低下し、フレーム/秒(FPS)が最大3.2倍、効率が最大10倍改善されている。
論文 参考訳（メタデータ） (2021-05-26T18:36:01Z) - SparkXD: A Framework for Resilient and Energy-Efficient Spiking Neural
Network Inference using Approximate DRAM [15.115813664357436]
スパイキングニューラルネットワーク(SNN)は、生物学的に疎い計算のために低エネルギー消費を達成する可能性がある。
いくつかの研究により、オフチップメモリ(DRAM)アクセスがSNN処理において最もエネルギー消費が大きいことが示されている。
我々は、回復力とエネルギー効率のよいSNN推論のための包括的コンジョイントソリューションを提供する新しいフレームワークSparkXDを提案する。
論文 参考訳（メタデータ） (2021-02-28T08:12:26Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳（メタデータ） (2021-01-04T18:54:07Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - DRMap: A Generic DRAM Data Mapping Policy for Energy-Efficient
Processing of Convolutional Neural Networks [15.115813664357436]
異なるDRAMアーキテクチャ上で異なるマッピングポリシーのレイテンシとエネルギについて検討する。
その結果, 行バッファヒット, バンクレベル, サブアレイレベルの並列化を最優先するマッピングポリシにより, エネルギー効率の高いDRAMアクセスを実現することができた。
論文 参考訳（メタデータ） (2020-04-21T23:26:23Z) - Data-Driven Neuromorphic DRAM-based CNN and RNN Accelerators [13.47462920292399]
ハードウェアアクセラレーター上で大きなディープニューラルネットワーク(DNN)を実行することで消費されるエネルギーは、状態と重みの両方を保存するために大量の高速メモリを必要としている。
DRAMは高価で低コストなメモリ(DRAMより20倍安い)であるが、長いランダムアクセスレイテンシはスパイキングニューラルネットワーク(SNN)の予測不可能なアクセスパターンにとって悪い。
本稿では,SNNと同様の空間的あるいは時間的間隔を生かしながら,SOAスループット,電力効率,レイテンシを実現する深層ニューラルネットワークハードウェアアクセラレータの過去5年間の展開について報告する。
論文 参考訳（メタデータ） (2020-03-29T11:45:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。