論文の概要: IMBUE: In-Memory Boolean-to-CUrrent Inference ArchitecturE for Tsetlin
Machines
- arxiv url: http://arxiv.org/abs/2305.12914v1
- Date: Mon, 22 May 2023 10:55:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 16:40:59.856523
- Title: IMBUE: In-Memory Boolean-to-CUrrent Inference ArchitecturE for Tsetlin
Machines
- Title(参考訳): IMBUE: TsetlinマシンのインメモリBoolean-to-Current推論アーキテクチャ
- Authors: Omar Ghazal, Simranjeet Singh, Tousif Rahman, Shengqi Yu, Yujin Zheng,
Domenico Balsamo, Sachin Patkar, Farhad Merchant, Fei Xia, Alex Yakovlev,
Rishad Shafik
- Abstract要約: 機械学習(ML)アプリケーションのためのインメモリコンピューティングは、並列性と局所性を活用するために計算を整理することで、フォン・ノイマンのボトルネックを修復する。
Resistive RAM(ReRAM)のような不揮発性メモリデバイスは、MLアプリケーションに有望なパフォーマンスを示す、統合的なスイッチングとストレージ機能を提供する。
本稿では,ReRAMトランジスタセルを用いたメモリ内Boolean-to-Current Inference Architecture (IMBUE)を提案する。
- 参考スコア(独自算出の注目度): 5.6634493664726495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-memory computing for Machine Learning (ML) applications remedies the von
Neumann bottlenecks by organizing computation to exploit parallelism and
locality. Non-volatile memory devices such as Resistive RAM (ReRAM) offer
integrated switching and storage capabilities showing promising performance for
ML applications. However, ReRAM devices have design challenges, such as
non-linear digital-analog conversion and circuit overheads. This paper proposes
an In-Memory Boolean-to-Current Inference Architecture (IMBUE) that uses
ReRAM-transistor cells to eliminate the need for such conversions. IMBUE
processes Boolean feature inputs expressed as digital voltages and generates
parallel current paths based on resistive memory states. The proportional
column current is then translated back to the Boolean domain for further
digital processing. The IMBUE architecture is inspired by the Tsetlin Machine
(TM), an emerging ML algorithm based on intrinsically Boolean logic. The IMBUE
architecture demonstrates significant performance improvements over binarized
convolutional neural networks and digital TM in-memory implementations,
achieving up to a 12.99x and 5.28x increase, respectively.
- Abstract(参考訳): 機械学習(ML)アプリケーションのためのインメモリコンピューティングは、並列性と局所性を活用するために計算を整理することで、フォン・ノイマンのボトルネックを修復する。
Resistive RAM(ReRAM)のような不揮発性メモリデバイスは、MLアプリケーションに有望なパフォーマンスを示す、統合的なスイッチングとストレージ機能を提供する。
しかし、ReRAMデバイスには非線形デジタルアナログ変換や回路オーバーヘッドといった設計上の課題がある。
本稿では,ReRAMトランジスタセルを用いたメモリ内Boolean-to-Current Inference Architecture (IMBUE)を提案する。
imbueはブール特徴入力をデジタル電圧として処理し、抵抗メモリ状態に基づいて並列電流経路を生成する。
比例列電流は、さらなるデジタル処理のためにブール領域に変換される。
IMBUEアーキテクチャは、本質的にブール論理に基づくMLアルゴリズムであるTsetlin Machine(TM)にインスパイアされている。
IMBUEアーキテクチャは、バイナライズされた畳み込みニューラルネットワークとデジタルTMインメモリ実装に対して、それぞれ12.99倍と5.28倍に向上した。
関連論文リスト
- Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳(メタデータ) (2023-11-13T08:59:01Z) - MCUFormer: Deploying Vision Transformers on Microcontrollers with
Limited Memory [76.02294791513552]
我々はMCUFormerと呼ばれるハードウェア・アルゴリズムの協調最適化手法を提案し、メモリが極端に制限されたマイクロコントローラにビジョントランスフォーマーを配置する。
MCUFormerは320KBのメモリを持つ画像分類のためのImageNet上で73.62%のTop-1精度を実現している。
論文 参考訳(メタデータ) (2023-10-25T18:00:26Z) - In Situ Framework for Coupling Simulation and Machine Learning with
Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。
シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。
この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文 参考訳(メタデータ) (2023-06-22T14:07:54Z) - Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。
メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
論文 参考訳(メタデータ) (2023-05-30T19:25:51Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - Pex: Memory-efficient Microcontroller Deep Learning through Partial
Execution [11.336229510791481]
マイクロコントローラ深層学習のための新しい実行パラダイムについて論じる。
ニューラルネットワークの実行を変更して、メモリの完全なバッファーを作らないようにする。
これは演算子のプロパティを利用することで実現され、一度にインプット/アウトプットのごく一部を消費/生産することができる。
論文 参考訳(メタデータ) (2022-11-30T18:47:30Z) - An In-Memory Analog Computing Co-Processor for Energy-Efficient CNN
Inference on Mobile Devices [4.117012092777604]
非揮発性メモリアレイ内のシナプス挙動とアクティベーション機能の両方を実現するインメモリアナログコンピューティング(IMAC)アーキテクチャを開発した。
スピン軌道トルク磁気抵抗ランダムアクセスメモリ(SOT-MRAM)装置を利用してシグモダルニューロンと双対シナプスを実現する。
モバイルプロセッサ上での畳み込みニューラルネットワーク(CNN)推論において、異種混合信号と混合精度のCPU-IMACアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-05-24T23:01:36Z) - PIM-DRAM:Accelerating Machine Learning Workloads using Processing in
Memory based on DRAM Technology [2.6168147530506958]
MLワークロードにおける行列ベクトル演算を高速化する処理インメモリ(PIM)プリミティブを提案する。
提案したアーキテクチャ,マッピング,データフローは,GPUよりも最大で23倍,6.5倍のメリットが得られることを示す。
論文 参考訳(メタデータ) (2021-05-08T16:39:24Z) - Kanerva++: extending The Kanerva Machine with differentiable, locally
block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。
我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。
この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文 参考訳(メタデータ) (2021-02-20T18:40:40Z) - In-memory Implementation of On-chip Trainable and Scalable ANN for AI/ML
Applications [0.0]
本稿では,人工知能(AI)と機械学習(ML)アプリケーションを実現するための,ANNのためのインメモリコンピューティングアーキテクチャを提案する。
我々の新しいオンチップトレーニングとインメモリアーキテクチャは、プリチャージサイクル当たりの配列の複数行を同時にアクセスすることで、エネルギーコストを削減し、スループットを向上させる。
提案したアーキテクチャはIRISデータセットでトレーニングされ、以前の分類器と比較してMAC当たりのエネルギー効率が4,6倍に向上した。
論文 参考訳(メタデータ) (2020-05-19T15:36:39Z) - IMAC: In-memory multi-bit Multiplication andACcumulation in 6T SRAM
Array [5.29958909018578]
インメモリコンピューティングは、メモリアレイに計算のいくつかの側面を埋め込むことを目的としている。
6Tアレイ内で並列ドット生成を行うことができる新しいインメモリ乗算法を提案する。
提案システムはエネルギー消費の6.24倍、遅延の9.42倍である。
論文 参考訳(メタデータ) (2020-03-27T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。