論文の概要: SWIM: Selective Write-Verify for Computing-in-Memory Neural Accelerators

• arxiv url: http://arxiv.org/abs/2202.08395v1
• Date: Thu, 17 Feb 2022 01:27:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 15:13:22.409394
• Title: SWIM: Selective Write-Verify for Computing-in-Memory Neural Accelerators
• Title（参考訳）: swim: メモリ内ニューラルネットワークアクセラレータのための選択的書き込み検証
• Authors: Zheyu Yan, Xiaobo Sharon Hu, Yiyu Shi
• Abstract要約: 書込み検証が必要なウェイトを効率よく選択するために,フォワードとバックプロパゲーションの1パスしか必要としない第2のデリバティブベース手法SWIMを導入する。 実験により、SWIMは従来のフルブルーの書き込み検証に比べて最大10倍のプログラムスピードアップを実現可能であることが示された。
• 参考スコア（独自算出の注目度）: 15.760502065894778
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Computing-in-Memory architectures based on non-volatile emerging memories have demonstrated great potential for deep neural network (DNN) acceleration thanks to their high energy efficiency. However, these emerging devices can suffer from significant variations during the mapping process i.e., programming weights to the devices), and if left undealt with, can cause significant accuracy degradation. The non-ideality of weight mapping can be compensated by iterative programming with a write-verify scheme, i.e., reading the conductance and rewriting if necessary. In all existing works, such a practice is applied to every single weight of a DNN as it is being mapped, which requires extensive programming time. In this work, we show that it is only necessary to select a small portion of the weights for write-verify to maintain the DNN accuracy, thus achieving significant speedup. We further introduce a second derivative based technique SWIM, which only requires a single pass of forward and backpropagation, to efficiently select the weights that need write-verify. Experimental results on various DNN architectures for different datasets show that SWIM can achieve up to 10x programming speedup compared with conventional full-blown write-verify while attaining a comparable accuracy.
• Abstract（参考訳）: 非揮発性新興メモリに基づくコンピューティング・イン・メモリアーキテクチャは、その高エネルギー効率によりディープニューラルネットワーク(DNN)加速に大きな可能性を示している。 しかし、これらの新興デバイスはマッピングプロセス、すなわちデバイスへのプログラミング重み付けの間に大きなバリエーションに悩まされ、もし未解決のままにしていれば、大幅な精度低下を引き起こす可能性がある。 ウェイトマッピングの非理想性は、反復的プログラミングと書き込み検証スキーム、すなわち、必要に応じてコンダクタンスを読み書きすることで補うことができる。 既存のすべての作品において、そのような実践はマッピングされているdnnのすべての重量に適用され、広範なプログラミング時間を必要とする。 本研究は,DNNの精度を維持するために,書き込み検証のためのウェイトの一部だけを選択する必要があることを示し,大幅な高速化を実現する。 さらに、書込み検証が必要なウェイトを効率的に選択するために、フォワードとバックプロパゲーションの1パスしか必要としない第2のデリバティブベース手法SWIMを導入する。 異なるデータセットに対する様々なDNNアーキテクチャの実験結果から、SWIMは従来の完全な書き込み検証に比べて最大10倍のプログラムスピードアップを実現でき、精度は同等である。

関連論文リスト

• DCP: Learning Accelerator Dataflow for Neural Network via Propagation [52.06154296196845]
  この研究は、DNN層の最適なデータフローを人間の努力なしに数秒で自動的に見つけるために、Dataflow Code Propagation (DCP)と呼ばれる効率的なデータ中心のアプローチを提案する。 DCPは、様々な最適化目標を最小化するために、望ましい勾配方向に向けてデータフローコードを効率的に更新する神経予測器を学習する。 例えば、追加のトレーニングデータを使用しないDCPは、数千のサンプルを使用して完全な検索を行うGAMAメソッドを超越している。
  論文  参考訳（メタデータ） (2024-10-09T05:16:44Z)
• U-SWIM: Universal Selective Write-Verify for Computing-in-Memory Neural Accelerators [8.813981342105151]
  書き込み検証を要求される重みを識別する新しい方法であるUSWIMを紹介する。 USWIMは、従来の徹底的な書き込み検証手法に対して、プログラムアクセラレーションを最大10倍に向上させる。 以前のSWIM技術と比較すると、USWIMは非均一な変化を示すデバイスを扱う場合のスピードアップを7倍に向上させる。
  論文  参考訳（メタデータ） (2023-12-11T05:47:16Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
  本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。 次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。 また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:32:03Z)
• FADNet++: Real-Time and Accurate Disparity Estimation with Configurable Networks [19.29846600092521]
  FADNet++は、分散度推定のための効率的なディープネットワークである。 リアルタイムアプリケーションのための高速なモデル推論速度で精度を高めることができる。 SceneFlowデータセットの新たな最先端結果を実現している。
  論文  参考訳（メタデータ） (2021-10-06T08:50:33Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems [3.1887081453726136]
  クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面している。 我々は、クロスバーベースハードウェア上でDNNトレーニングを機能的に評価する高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。
  論文  参考訳（メタデータ） (2020-02-25T19:29:43Z)
• A Framework for Semi-Automatic Precision and Accuracy Analysis for Fast and Rigorous Deep Learning [1.5863809575305419]
  多くの論文は、ディープニューラルネットワーク(DNN)が驚くほど低い精度で正常に動作可能であることを実験的に観察している。 本論文は、DNNのFP精度が低いFP精度のために高いままである理由について、理論的光を当てる。 ディープラーニングの推論フェーズにおけるFPエラー解析のためのソフトウェアフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-10T15:33:19Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。