論文の概要: Model of the Weak Reset Process in HfOx Resistive Memory for Deep Learning Frameworks

• arxiv url: http://arxiv.org/abs/2107.06064v1
• Date: Fri, 2 Jul 2021 08:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-18 16:58:37.122733
• Title: Model of the Weak Reset Process in HfOx Resistive Memory for Deep Learning Frameworks
• Title（参考訳）: 深層学習フレームワークにおけるhfox抵抗メモリの弱いリセット過程のモデル化
• Authors: Atreya Majumdar, Marc Bocquet, Tifenn Hirtzlin, Axel Laborieux, Jacques-Olivier Klein, Etienne Nowak, Elisa Vianello, Jean-Michel Portal, Damien Querlioz
• Abstract要約: 酸化ハフニウムRRAMにおける弱いRESET過程のモデルを提案する。 私たちはこのモデルをPyTorchディープラーニングフレームワークに統合します。 我々はこのツールを用いて、MNIST手書き文字認識タスクのためのバイナリニューラルネットワークを訓練する。
• 参考スコア（独自算出の注目度）: 0.6745502291821955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The implementation of current deep learning training algorithms is power-hungry, owing to data transfer between memory and logic units. Oxide-based RRAMs are outstanding candidates to implement in-memory computing, which is less power-intensive. Their weak RESET regime, is particularly attractive for learning, as it allows tuning the resistance of the devices with remarkable endurance. However, the resistive change behavior in this regime suffers many fluctuations and is particularly challenging to model, especially in a way compatible with tools used for simulating deep learning. In this work, we present a model of the weak RESET process in hafnium oxide RRAM and integrate this model within the PyTorch deep learning framework. Validated on experiments on a hybrid CMOS/RRAM technology, our model reproduces both the noisy progressive behavior and the device-to-device (D2D) variability. We use this tool to train Binarized Neural Networks for the MNIST handwritten digit recognition task and the CIFAR-10 object classification task. We simulate our model with and without various aspects of device imperfections to understand their impact on the training process and identify that the D2D variability is the most detrimental aspect. The framework can be used in the same manner for other types of memories to identify the device imperfections that cause the most degradation, which can, in turn, be used to optimize the devices to reduce the impact of these imperfections.
• Abstract（参考訳）: 現在のディープラーニングトレーニングアルゴリズムの実装は、メモリとロジックユニット間のデータ転送による電力消費である。 酸化物ベースのRRAMは、インメモリコンピューティングを実装するための優れた候補である。 その弱いRESETの仕組みは、耐久性が高いデバイスの抵抗を調整できるので、学習には特に魅力的だ。 しかし、この体制における抵抗的な変化の挙動は多くの変動に悩まされており、特にディープラーニングをシミュレートするツールと互換性のある方法でモデリングすることは特に困難である。 本研究では,酸化ハフニウムRRAMにおける弱いRESET過程のモデルを示し,このモデルをPyTorchディープラーニングフレームワークに統合する。 我々のモデルは、ハイブリッドCMOS/RRAM技術の実験に基づいて、ノイズの進行挙動とデバイス間変動(D2D)の両方を再現する。 我々はこのツールを用いて、MNIST手書き文字認識タスクとCIFAR-10オブジェクト分類タスクにバイナリニューラルネットワークを訓練する。 トレーニングプロセスへの影響を理解し,D2Dの変動性が最も有害な側面であることを識別するために,デバイス不完全性のさまざまな側面をシミュレートする。 このフレームワークは、他の種類の記憶において、最も劣化の原因となるデバイス欠陥を特定するのと同じ方法で使用することができ、その結果、デバイスを最適化してこれらの欠陥の影響を減らすことができる。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Synaptic metaplasticity with multi-level memristive devices [1.5598974049838272]
  推論とトレーニングの両方において,メタ塑性を実現するためのメムリスタベースのハードウェアソリューションを提案する。 MNISTとFashion-MNISTの連続トレーニングにおいて,2層パーセプトロンの精度は97%,86%であった。 我々のアーキテクチャは、mmristorの制限された耐久性と互換性があり、メモリは15倍削減されている。
  論文  参考訳（メタデータ） (2023-06-21T09:40:25Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse Data using a Learning-based Unscented Kalman Filter [65.93205328894608]
  我々は,動的・シミュレータモデルと実ロボット間の残差を学習する。 学習した残差誤差により、動的モデル、シミュレーション、および実際のハードウェア間の現実的ギャップをさらに埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-09-07T15:15:12Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses [1.9809266426888898]
  専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。 本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。 我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
  論文  参考訳（メタデータ） (2021-08-04T01:24:17Z)
• Tiny Machine Learning for Concept Drift [8.452237741722726]
  本稿では,ディープラーニング特徴抽出器とk-アネレスト近傍に基づくTML-CD(Tiny Machine Learning for Concept Drift)ソリューションを提案する。 適応モジュールは、TML-CDの知識ベースを継続的に更新し、データ生成プロセスに影響を与える概念ドリフトに対処する。 3つの市販マイクロコントローラユニットへのTML-CDの移植は、現実世界の広範システムで提案されていることの実現可能性を示している。
  論文  参考訳（メタデータ） (2021-07-30T17:02:04Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。