論文の概要: Software-Level Accuracy Using Stochastic Computing With Charge-Trap-Flash Based Weight Matrix

• arxiv url: http://arxiv.org/abs/2004.11120v1
• Date: Mon, 9 Mar 2020 02:45:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 07:40:45.672643
• Title: Software-Level Accuracy Using Stochastic Computing With Charge-Trap-Flash Based Weight Matrix
• Title（参考訳）: チャージトラップ型Flash重み行列を用いた確率計算によるソフトウェアレベル精度
• Authors: Varun Bhatt, Shalini Shrivastava, Tanmay Chavan, Udayan Ganguly
• Abstract要約: チャージトラップフラッシュ(CTF)メモリは飽和前に大量のレベルを持つが、非線形性は変化しない。 シミュレーションにより、最適範囲の選択において、我々のシステムは正確な浮動小数点演算を用いて訓練されたモデルとほぼ同等の性能を示すことを示す。 また,Q-Learningにおける価値関数近似に使用される強化学習にも応用し,約146ステップでマウンテンカー制御問題を完成させる。
• 参考スコア（独自算出の注目度）: 2.580765958706854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The in-memory computing paradigm with emerging memory devices has been recently shown to be a promising way to accelerate deep learning. Resistive processing unit (RPU) has been proposed to enable the vector-vector outer product in a crossbar array using a stochastic train of identical pulses to enable one-shot weight update, promising intense speed-up in matrix multiplication operations, which form the bulk of training neural networks. However, the performance of the system suffers if the device does not satisfy the condition of linear conductance change over around 1,000 conductance levels. This is a challenge for nanoscale memories. Recently, Charge Trap Flash (CTF) memory was shown to have a large number of levels before saturation, but variable non-linearity. In this paper, we explore the trade-off between the range of conductance change and linearity. We show, through simulations, that at an optimum choice of the range, our system performs nearly as well as the models trained using exact floating point operations, with less than 1% reduction in the performance. Our system reaches an accuracy of 97.9% on MNIST dataset, 89.1% and 70.5% accuracy on CIFAR-10 and CIFAR-100 datasets (using pre-extracted features). We also show its use in reinforcement learning, where it is used for value function approximation in Q-Learning, and learns to complete an episode the mountain car control problem in around 146 steps. Benchmarked to state-of-the-art, the CTF based RPU shows best in class performance to enable software equivalent performance.
• Abstract（参考訳）: 新たなメモリデバイスによるインメモリコンピューティングパラダイムは、ディープラーニングを加速する有望な方法であることが最近示されている。 抵抗処理ユニット(RPU)は、同一パルスの確率的トレインを用いてクロスバーアレイのベクトルベクトル外積を可能とし、一発の重み付けを可能とし、行列乗算演算の急激な高速化を約束する。 しかし, 装置が1000以上の導電レベルの線形変化の条件を満たさない場合, システムの性能は低下する。 これはナノスケール記憶の課題です。 近年、チャージトラップフラッシュ(CTF)メモリは飽和前に大量のレベルを持つが、非線形性は可変であることが示されている。 本稿では,コンダクタンス変化範囲と線形性とのトレードオフについて検討する。 シミュレーションにより, 最適範囲の選択において, 精度の高い浮動小数点演算を用いて訓練したモデルとほぼ同等の性能を示し, 性能を1%以下に抑えることができた。 我々のシステムは、MNISTデータセットで97.9%、CIFAR-10とCIFAR-100データセットで89.1%、70.5%の精度に達する。 また,強化学習において,q-learningにおける値関数近似に利用し,約146ステップでマウンテンカー制御問題のエピソードを完了させる方法を示す。 最先端とベンチマークすると、CTFベースのRPUは、ソフトウェアに匹敵するパフォーマンスを実現するために、最高のクラスパフォーマンスを示す。

関連論文リスト

• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• Hadamard Domain Training with Integers for Class Incremental Quantized Learning [1.4416751609100908]
  継続的な学習は、リソース制約のあるエッジプラットフォームにとってコストを抑えることができる。 本稿では,整数行列の乗算のみを用いて,低精度の学習を可能にする手法を提案する。 行列乗算の入力を8ビットのアキュムレータで4ビットまで量子化しながら、0.5%未満の精度と3%の精度の劣化を実現する。
  論文  参考訳（メタデータ） (2023-10-05T16:52:59Z)
• A Distributed Data-Parallel PyTorch Implementation of the Distributed Shampoo Optimizer for Training Neural Networks At-Scale [5.206015354543744]
  Shampooは、ニューラルネットワークをトレーニングするためのAdaGradファミリーに属するオンラインおよび最適化アルゴリズムである。 我々は、PyTorchのディープネットワークを大規模にトレーニングするために実装したアルゴリズムと性能最適化の完全な記述を提供する。
  論文  参考訳（メタデータ） (2023-09-12T18:11:10Z)
• Hardware-aware Training Techniques for Improving Robustness of Ex-Situ Neural Network Transfer onto Passive TiO2 ReRAM Crossbars [0.8553766625486795]
  ドロップアウト, 再パラメータ化トリック, TiO2クロスバー変数の正規化といった手法を応用したトレーニング手法を提案する。 提案手法を用いてトレーニングされたニューラルネットワークでは、テストセットのデータポイントの79.5%を95%以上の精度で分類することができる。
  論文  参考訳（メタデータ） (2023-05-29T13:55:02Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [92.55145016562867]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Convolutional Neural Networks for the classification of glitches in gravitational-wave data streams [52.77024349608834]
  我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。 どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。 また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
  論文  参考訳（メタデータ） (2023-03-24T11:12:37Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Efficient On-device Training via Gradient Filtering [14.484604762427717]
  デバイス上でのCNNモデルトレーニングを可能にする新しい勾配フィルタリング手法を提案する。 我々のアプローチは勾配写像の特異な要素が少ない特別な構造を生成する。 弊社のアプローチは、デバイス上でのトレーニングの大きな可能性を秘めた、新しい研究の方向性を開く。
  論文  参考訳（メタデータ） (2023-01-01T02:33:03Z)
• Improving compute efficacy frontiers with SliceOut [31.864949424541344]
  SliceOut - 最終テスト精度に影響を与えることなく、ディープラーニングモデルを高速にトレーニングするためのドロップアウトインスパイアされたスキームだ。 テスト時に、SliceOutをオフにすると、テストの正確性を保持する一連のアーキテクチャに暗黙のアンサンブルが実行される。 これにより、大規模な計算ワークロード全体の処理が高速化され、結果として生じるエネルギー消費とCO2エミッションが大幅に削減される。
  論文  参考訳（メタデータ） (2020-07-21T15:59:09Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。