論文の概要: A Co-design view of Compute in-Memory with Non-Volatile Elements for
Neural Networks
- arxiv url: http://arxiv.org/abs/2206.08735v1
- Date: Fri, 3 Jun 2022 15:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-27 02:52:48.267051
- Title: A Co-design view of Compute in-Memory with Non-Volatile Elements for
Neural Networks
- Title(参考訳): ニューラルネットワークのための不揮発性要素を用いた計算インメモリの共設計
- Authors: Wilfried Haensch, Anand Raghunathan, Kaushik Roy, Bhaswar Chakrabarti,
Charudatta M. Phatak, Cheng Wang and Supratik Guha
- Abstract要約: 次世代のコンピューティングハードウェアにおいて,コンピュート・イン・メモリがいかに重要な役割を果たすかを論じる。
非揮発性メモリベースのクロスバーアーキテクチャは、アナログプロセスを使用して行列ベクトル乗算演算を並列化するエンジンの心臓を形成する。
クロスバーアーキテクチャは、時にはニューロモルフィックアプローチと呼ばれ、将来のコンピュータにおいて重要なハードウェア要素となる。
- 参考スコア(独自算出の注目度): 12.042322495445196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Learning neural networks are pervasive, but traditional computer
architectures are reaching the limits of being able to efficiently execute them
for the large workloads of today. They are limited by the von Neumann
bottleneck: the high cost in energy and latency incurred in moving data between
memory and the compute engine. Today, special CMOS designs address this
bottleneck. The next generation of computing hardware will need to eliminate or
dramatically mitigate this bottleneck. We discuss how compute-in-memory can
play an important part in this development. Here, a non-volatile memory based
cross-bar architecture forms the heart of an engine that uses an analog process
to parallelize the matrix vector multiplication operation, repeatedly used in
all neural network workloads. The cross-bar architecture, at times referred to
as a neuromorphic approach, can be a key hardware element in future computing
machines. In the first part of this review we take a co-design view of the
design constraints and the demands it places on the new materials and memory
devices that anchor the cross-bar architecture. In the second part, we review
what is knows about the different new non-volatile memory materials and devices
suited for compute in-memory, and discuss the outlook and challenges.
- Abstract(参考訳): ディープラーニングニューラルネットワークは広く普及しているが、従来のコンピュータアーキテクチャは、今日の大規模ワークロードで効率的に実行できる限界に達している。
これはvon neumannのボトルネックによって制限されている: メモリと計算エンジン間のデータ移動に発生するエネルギーとレイテンシの高コスト。
今日、特殊なCMOS設計がこのボトルネックに対処しています。
次世代のコンピューティングハードウェアは、このボトルネックを排除または劇的に軽減する必要がある。
我々は、この開発において、コンピュート・イン・メモリがどのように重要な役割を果たすかについて議論する。
ここでは、不揮発性メモリベースのクロスバーアーキテクチャが、すべてのニューラルネットワークワークロードで繰り返し使用される行列ベクトル乗算演算を並列化するためにアナログプロセスを使用するエンジンの心臓を形成する。
クロスバーアーキテクチャ(cross-bar architecture)は、ニューロモルフィックアプローチと呼ばれることもあるが、将来のコンピューティングマシンにおいて重要なハードウェア要素となる。
このレビューの最初の部分では、クロスバーアーキテクチャをアンカーする新しい材料とメモリデバイスに課される設計上の制約と要求について、共同設計の視点を取っています。
第2部では,インメモリ計算に適した新しい不揮発性メモリ材料とデバイスについて何を知っているのかをレビューし,その展望と課題について論じる。
関連論文リスト
- Topology-aware Embedding Memory for Continual Learning on Expanding
Networks [69.21427519408016]
メモリリプレイ技術は、漸進的に蓄積されたユークリッドデータによる継続的な学習において大きな成功を収めている。
しかし、ネットワークの継続的な拡張にそれらを直接適用することは、潜在的なメモリ爆発問題につながる。
我々は、トポロジ-埋め込みメモリ(TEM)を備えた一般フレームワーク、すなわちTEMaware Decoupled Graph Neural Networks(PDGNN)を提案する。
本稿では,TEMを用いたTEMaware PDGNNが最先端技術,特に難易度の高いクラスインクリメンタルセッティングにおいて著しく優れていることを示す。
論文 参考訳(メタデータ) (2024-01-24T03:03:17Z) - Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳(メタデータ) (2023-12-14T09:46:16Z) - Experimentally realized memristive memory augmented neural network [0.0]
デバイス上での生涯学習は、マシンインテリジェンスにとって重要な課題だ。
メモリ拡張ニューラルネットワークは目標を達成するために提案されているが、メモリモジュールはオフチップメモリに保存されなければならない。
メモリ全体の拡張ニューラルネットワークアーキテクチャを,完全に統合されたメムリシティブなクロスバープラットフォームに実装する。
論文 参考訳(メタデータ) (2022-04-15T11:52:30Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [70.29404271727155]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳(メタデータ) (2021-10-28T17:58:45Z) - Resistive Neural Hardware Accelerators [0.46198289193451136]
ReRAMベースのインメモリコンピューティングは、領域と電力効率のよい推論の実装において大きな可能性を秘めている。
ReRAMベースのインメモリコンピューティングへの移行は、領域と電力効率のよい推論の実装において大きな可能性を秘めている。
本稿では,最先端のReRAMベースディープニューラルネットワーク(DNN)多コアアクセラレータについて概説する。
論文 参考訳(メタデータ) (2021-09-08T21:11:48Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳(メタデータ) (2020-12-31T18:48:58Z) - Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。
この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。
本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-10-05T12:01:56Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - In-memory Implementation of On-chip Trainable and Scalable ANN for AI/ML
Applications [0.0]
本稿では,人工知能(AI)と機械学習(ML)アプリケーションを実現するための,ANNのためのインメモリコンピューティングアーキテクチャを提案する。
我々の新しいオンチップトレーニングとインメモリアーキテクチャは、プリチャージサイクル当たりの配列の複数行を同時にアクセスすることで、エネルギーコストを削減し、スループットを向上させる。
提案したアーキテクチャはIRISデータセットでトレーニングされ、以前の分類器と比較してMAC当たりのエネルギー効率が4,6倍に向上した。
論文 参考訳(メタデータ) (2020-05-19T15:36:39Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳(メタデータ) (2020-05-05T08:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。