論文の概要: FORMS: Fine-grained Polarized ReRAM-based In-situ Computation for Mixed-signal DNN Accelerator

• arxiv url: http://arxiv.org/abs/2106.09144v1
• Date: Wed, 16 Jun 2021 21:42:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-19 08:34:18.797690
• Title: FORMS: Fine-grained Polarized ReRAM-based In-situ Computation for Mixed-signal DNN Accelerator
• Title（参考訳）: FORMS: 混合信号DNN加速器の微細偏極ReRAMを用いたその場計算
• Authors: Geng Yuan, Payman Behnam, Zhengang Li, Ali Shafiee, Sheng Lin, Xiaolong Ma, Hang Liu, Xuehai Qian, Mahdi Nazm Bojnordi, Yanzhi Wang, Caiwen Ding
• Abstract要約: FORMSは、偏極重みを持つ微粒なReRAMベースのDNNアクセラレータである。 ISAACよりも1秒あたりのスループット向上とスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 33.19099033687952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works demonstrated the promise of using resistive random access memory (ReRAM) as an emerging technology to perform inherently parallel analog domain in-situ matrix-vector multiplication -- the intensive and key computation in DNNs. With weights stored in the ReRAM crossbar cells as conductance, when the input vector is applied to word lines, the matrix-vector multiplication results can be generated as the current in bit lines. A key problem is that the weight can be either positive or negative, but the in-situ computation assumes all cells on each crossbar column with the same sign. The current architectures either use two ReRAM crossbars for positive and negative weights, or add an offset to weights so that all values become positive. Neither solution is ideal: they either double the cost of crossbars, or incur extra offset circuity. To better solve this problem, this paper proposes FORMS, a fine-grained ReRAM-based DNN accelerator with polarized weights. Instead of trying to represent the positive/negative weights, our key design principle is to enforce exactly what is assumed in the in-situ computation -- ensuring that all weights in the same column of a crossbar have the same sign. It naturally avoids the cost of an additional crossbar. Such weights can be nicely generated using alternating direction method of multipliers (ADMM) regularized optimization, which can exactly enforce certain patterns in DNN weights. To achieve high accuracy, we propose to use fine-grained sub-array columns, which provide a unique opportunity for input zero-skipping, significantly avoiding unnecessary computations. It also makes the hardware much easier to implement. Putting all together, with the same optimized models, FORMS achieves significant throughput improvement and speed up in frame per second over ISAAC with similar area cost.
• Abstract（参考訳）: 最近の研究は、抵抗ランダムアクセスメモリ(ReRAM)を新しい技術として使用し、DNNの集中的および鍵計算である行列内ベクトル乗算を本質的に並列に行うことを実証している。 リラムクロスバーセルに重みをコンダクタンスとして記憶し、入力ベクトルをワードラインに適用すると、行列ベクトル乗算結果をビットライン内の電流として生成することができる。 鍵となる問題は、重みは正か負かのいずれかであるが、その場での計算は、同じ符号を持つ各クロスバー列上の全てのセルを仮定する。 現在のアーキテクチャでは、正と負の重み付けに2つのReRAMクロスバーを使用するか、あるいは全ての値が正になるようにオフセットを重み付けする。 どちらも理想的ではなく、クロスバーのコストを2倍にするか、余分なオフセット回路を発生させる。 本稿では, 偏光重み付き細粒度ReRAMベースのDNN加速器FOMSを提案する。 正負の重みを表現しようとするのではなく、我々のキーとなる設計原則は、その場での計算で想定されるものを正確に強制することであり、クロスバーの同じ列の重みが同じ符号を持つようにすることである。 これは当然、追加のクロスバーのコストを回避する。 このような重みは、DNN重みの特定のパターンを正確に強制できる乗算器(ADMM)正規化最適化の交互方向法を用いて、良好に生成することができる。 高精度化のために,入力ゼロスキッピングのユニークな機会を提供する細粒なサブアレイ列を用い,不要な計算を著しく回避することを提案する。 また、ハードウェアの実装もずっと簡単になる。 全てを同じ最適化モデルで組み合わせることで、FORMSはISAACよりも1秒あたりのスループットの向上とスピードアップを実現している。

関連論文リスト

• BasisN: Reprogramming-Free RRAM-Based In-Memory-Computing by Basis Combination for Deep Neural Networks [9.170451418330696]
  本研究では,任意のクロスバー上のディープニューラルネットワーク(DNN)をリプログラミングせずに高速化するBasisNフレームワークを提案する。 その結果, クロスバーに再プログラミングを適用する場合と比較して, 推論毎のサイクルとエネルギー遅延生成物は1%以下に削減された。
  論文  参考訳（メタデータ） (2024-07-04T08:47:05Z)
• Quantum encoder for fixed Hamming-weight subspaces [0.0]
  本稿では,実データベクトルあるいは複素データベクトルの$d=binomnk$の正確な$n$-qubit計算基底振幅エンコーダを解析形式で提示する。 また,市販のトラップイオン量子コンピュータ上で,本手法の実証実験を行った。
  論文  参考訳（メタデータ） (2024-05-30T18:26:41Z)
• Optimal Input Gain: All You Need to Supercharge a Feed-Forward Neural Network [0.6562256987706128]
  線形変換を用いた前処理入力は, 負の勾配行列を学習繰り返し毎の自己相関行列に乗じることと等価であることが示されている。 OIGが改良したHWOは、より複雑なディープラーニングアーキテクチャのための重要なビルディングブロックになり得ることが示されている。
  論文  参考訳（メタデータ） (2023-03-30T22:20:16Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
  微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。 前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。 一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
  論文  参考訳（メタデータ） (2022-01-29T10:00:35Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
  重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。 二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。 CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
  論文  参考訳（メタデータ） (2021-02-16T07:03:51Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)
• A Regression Tsetlin Machine with Integer Weighted Clauses for Compact Pattern Representation [9.432068833600884]
  Regression Tsetlin Machine (RTM) は、最先端の非線形回帰モデルに干渉する解釈可能性の欠如に対処する。 整数重み付き節を導入し,計算コストをN倍に削減し,解釈可能性を高める。 6つの人工データセットを用いて整数重み付きRTMのポテンシャルを評価する。
  論文  参考訳（メタデータ） (2020-02-04T12:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。