論文の概要: Reliability-Aware Deployment of DNNs on In-Memory Analog Computing
Architectures
- arxiv url: http://arxiv.org/abs/2211.00590v1
- Date: Sun, 2 Oct 2022 01:43:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 15:18:05.233919
- Title: Reliability-Aware Deployment of DNNs on In-Memory Analog Computing
Architectures
- Title(参考訳): インメモリアナログコンピューティングアーキテクチャにおけるdnnの信頼性を考慮した配置
- Authors: Md Hasibul Amin, Mohammed Elbtity, Ramtin Zand
- Abstract要約: In-Memory Analog Computing (IMAC) 回路は、アナログ領域におけるMVMとNLVの両方の操作を実現することにより、信号変換器の必要性を取り除く。
我々は、ディープニューラルネットワーク(DNN)に大規模な行列を複数の小さなIMACサブアレイに展開する実践的なアプローチを導入し、ノイズや寄生虫の影響を軽減する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional in-memory computing (IMC) architectures consist of analog
memristive crossbars to accelerate matrix-vector multiplication (MVM), and
digital functional units to realize nonlinear vector (NLV) operations in deep
neural networks (DNNs). These designs, however, require energy-hungry signal
conversion units which can dissipate more than 95% of the total power of the
system. In-Memory Analog Computing (IMAC) circuits, on the other hand, remove
the need for signal converters by realizing both MVM and NLV operations in the
analog domain leading to significant energy savings. However, they are more
susceptible to reliability challenges such as interconnect parasitic and noise.
Here, we introduce a practical approach to deploy large matrices in DNNs onto
multiple smaller IMAC subarrays to alleviate the impacts of noise and
parasitics while keeping the computation in the analog domain.
- Abstract(参考訳): 従来のインメモリ・コンピューティング(IMC)アーキテクチャは、行列ベクトル乗算(MVM)を加速するアナログメモリクロスバーと、ディープニューラルネットワーク(DNN)における非線形ベクトル(NLV)演算を実現するデジタル機能ユニットで構成されている。
しかし、これらの設計は、システム全体の電力の95%以上を放出できるエネルギー空調信号変換ユニットを必要とする。
一方、インメモリアナログコンピューティング(imac)回路は、アナログドメインにおけるmvmとnlvの両方の操作を実現することで、信号変換器の必要性をなくし、大幅な省エネルギーに繋がる。
しかしながら、相互接続寄生虫や騒音のような信頼性の問題に弱い。
本稿では,DNNの大規模行列を複数の小さなIMACサブアレイ上に展開し,アナログ領域に留まりながらノイズや寄生虫の影響を軽減するための実践的アプローチを提案する。
関連論文リスト
- RACE-IT: A Reconfigurable Analog CAM-Crossbar Engine for In-Memory
Transformer Acceleration [21.196696191478885]
Transformer ModelはDeep Neural Networks(DNN)の最先端を表現している。
これらのモデルを処理するには、かなりの計算資源が必要で、結果としてかなりのメモリフットプリントが要求される。
本稿では,トランスフォーマ内で様々な非MVM操作を行うことのできる新しいAnalog Content Addressable Memory(ACAM)構造を提案する。
論文 参考訳(メタデータ) (2023-11-29T22:45:39Z) - ADC/DAC-Free Analog Acceleration of Deep Neural Networks with Frequency
Transformation [2.7488316163114823]
本稿では,アナログ領域の周波数ベーステンソル変換を用いた周波数領域ニューラルネットワークのエネルギー効率向上手法を提案する。
提案手法は,変換行列のトレーニング可能なパラメータを不要にすることで,よりコンパクトなセルを実現する。
16$times$16のクロスバーで8ビット入力処理を行い,Watt当たりの1602テラ演算のエネルギー効率を実現する。
論文 参考訳(メタデータ) (2023-09-04T19:19:39Z) - RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。
モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2023-05-22T13:57:41Z) - Signal Detection in MIMO Systems with Hardware Imperfections: Message
Passing on Neural Networks [101.59367762974371]
本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。
パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。
我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
論文 参考訳(メタデータ) (2022-10-08T04:32:58Z) - Over-the-Air Split Machine Learning in Wireless MIMO Networks [56.27831295707334]
スプリット機械学習(ML)では、ニューラルネットワーク(NN)の異なるパーティションが異なる計算ノードによって実行される。
通信負担を軽減するため、OAC(Over-the-air calculation)は通信と同時に計算の全てまたは一部を効率的に実装することができる。
論文 参考訳(メタデータ) (2022-10-07T15:39:11Z) - Neural-PIM: Efficient Processing-In-Memory with Neural Approximation of
Peripherals [11.31429464715989]
本稿では,ディープラーニングタスクを効率的に高速化する新しいPIMアーキテクチャを提案する。
アナログ集積回路とニューラル近似周辺回路で必要となるA/D変換を最小化する。
異なるベンチマークによる評価では、Neural-PIMはエネルギー効率を5.36x (1.73x)向上し、スループットを3.43x (1.59x)向上する。
論文 参考訳(メタデータ) (2022-01-30T16:14:49Z) - Interconnect Parasitics and Partitioning in Fully-Analog In-Memory
Computing Architectures [0.0]
完全アナログIMCアーキテクチャに実装したディープニューラルネットワーク(DNN)モデルの精度に及ぼすワイヤ寄生抵抗と容量の影響について検討した。
本稿では,アナログ領域における計算を保ちながら寄生虫の影響を軽減するための分配機構を提案する。
分割処理に要する余分な回路により,高消費電力化による精度の向上が期待できる。
論文 参考訳(メタデータ) (2022-01-29T02:29:27Z) - AnalogNets: ML-HW Co-Design of Noise-robust TinyML Models and Always-On
Analog Compute-in-Memory Accelerator [50.31646817567764]
本稿では,キーワードスポッティング (KWS) と視覚覚醒語 (VWW) を常用するTinyMLモデルについて述べる。
アナログ非イデオロギーに面した精度を維持するため、包括的学習手法を詳述する。
また、プログラム可能な最小領域位相変化メモリ(PCM)アナログCiMアクセラレータであるAON-CiMについて述べる。
論文 参考訳(メタデータ) (2021-11-10T10:24:46Z) - Massive MIMO As an Extreme Learning Machine [83.12538841141892]
低分解能アナログ・デジタルコンバータ(ADC)を用いたMIMOシステムによる自然極端学習機械(ELM)の試作
受信した信号にランダムなバイアスを加え、ELM出力の重みを最適化することにより、システムはハードウェアの障害に効果的に取り組むことができる。
論文 参考訳(メタデータ) (2020-07-01T04:15:20Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳(メタデータ) (2020-06-02T23:38:35Z) - Non-Volatile Memory Array Based Quantization- and Noise-Resilient LSTM
Neural Networks [1.5332481598232224]
本稿では,LSTMモデルへの量子化対応学習アルゴリズムの適用に焦点を当てる。
4ビットのNVM重みと4ビットのADC/DACしか必要とせず、浮動小数点点のベースラインとして同等のLSTMネットワーク性能が得られることを示した。
提案したLSTM加速器のベンチマーク解析により、従来のデジタル手法に比べて少なくとも2.4倍の計算効率と40倍の面積効率が得られた。
論文 参考訳(メタデータ) (2020-02-25T02:59:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。