論文の概要: Variation Aware Training of Hybrid Precision Neural Networks with 28nm HKMG FeFET Based Synaptic Core

• arxiv url: http://arxiv.org/abs/2202.10912v1
• Date: Mon, 21 Feb 2022 17:58:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-24 08:39:12.251086
• Title: Variation Aware Training of Hybrid Precision Neural Networks with 28nm HKMG FeFET Based Synaptic Core
• Title（参考訳）: 28nm hkmgfefetベースシナプスコアを用いたハイブリッド精密ニューラルネットワークのばらつき対応トレーニング
• Authors: Sunanda Thunder, Sourav De, Franz Muller, Tarek Ali, Maximillian Lederer, Thomas K\"ampfe, Po-Tsang Huang
• Abstract要約: 本研究は、重み付け和演算を実行するeNVMベースの計算メモリユニットと、バック伝搬中に重み更新時にエラーを格納する他のユニットを備えたハイブリッド精度ニューラルネットワークトレーニングフレームワークを提案する。 本アーキテクチャはFeFETデバイスの動作モデルやマクロモデルを用いて評価され,浮動小数点法と比較して精度が向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work proposes a hybrid-precision neural network training framework with an eNVM based computational memory unit executing the weighted sum operation and another SRAM unit, which stores the error in weight update during back propagation and the required number of pulses to update the weights in the hardware. The hybrid training algorithm for MLP based neural network with 28 nm ferroelectric FET (FeFET) as synaptic devices achieves inference accuracy up to 95% in presence of device and cycle variations. The architecture is primarily evaluated using behavioral or macro-model of FeFET devices with experimentally calibrated device variations and we have achieved accuracies compared to floating-point implementations.
• Abstract（参考訳）: 本研究は、重み付き和演算を実行するeNVMベースの計算メモリユニットと、バック伝搬中の重み更新時にエラーを格納するSRAMユニットと、ハードウェアの重み更新に必要なパルス数とを備えたハイブリッド精度ニューラルネットワークトレーニングフレームワークを提案する。 シナプスデバイスとして28nmの強誘電体FET(FeFET)を用いたMLPベースニューラルネットワークのハイブリッドトレーニングアルゴリズムは、デバイスとサイクルの変動が存在する場合、最大95%の推論精度を実現する。 本アーキテクチャは,FeFETデバイスの動作モデルやマクロモデルを用いて評価され,浮動小数点法と比較して精度が向上した。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Up-sampling-only and Adaptive Mesh-based GNN for Simulating Physical Systems [7.384641647468888]
  本稿では,UA-MGNと呼ばれる新しい階層型メッシュグラフネットワークを開発し,効率的な機械シミュレーションを行う。 2つの合成データセットと1つの実データセットの評価は、UA-MGNの優位性を示している。
  論文  参考訳（メタデータ） (2024-09-07T07:09:58Z)
• EKGNet: A 10.96{\mu}W Fully Analog Neural Network for Intra-Patient Arrhythmia Classification [79.7946379395238]
  心電図不整脈分類におけるアナログ計算と深層学習を組み合わせた統合的アプローチを提案する。 本稿では,低消費電力で高精度にアーカイブするハードウェア効率と完全アナログ不整脈分類アーキテクチャであるEKGNetを提案する。
  論文  参考訳（メタデータ） (2023-10-24T02:37:49Z)
• CIMulator: A Comprehensive Simulation Platform for Computing-In-Memory Circuit Macros with Low Bit-Width and Real Memory Materials [0.5325753548715747]
  本稿では,ニューロモルフィック加速器における各種シナプスデバイスの有効性を定量化するためのシミュレーションプラットフォーム,CIMulatorを提案する。 抵抗性ランダムアクセスメモリ、強誘電体電界効果トランジスタ、揮発性静的ランダムアクセスメモリ装置などの不揮発性メモリ装置をシナプスデバイスとして選択することができる。 LeNet-5、VGG-16、C4W-1と呼ばれるカスタムCNNのような多層パーセプトロンと畳み込みニューラルネットワーク(CNN)をシミュレートし、これらのシナプスデバイスがトレーニングおよび推論結果に与える影響を評価する。
  論文  参考訳（メタデータ） (2023-06-26T12:36:07Z)
• A Multi-Resolution Physics-Informed Recurrent Neural Network: Formulation and Application to Musculoskeletal Systems [1.978587235008588]
  本研究は筋骨格運動(MSK)の同時予測のための物理インフォームド・リカレントニューラルネットワーク(MR PI-RNN)を提案する。 提案手法は、高速ウェーブレット変換を用いて、混合周波数入力sEMGを分解し、ジョイントモーション信号をネスト多重解像度信号に出力する。 このフレームワークはまた、被験者の運動学データと生理的に整合した筋肉パラメータを識別することも可能である。
  論文  参考訳（メタデータ） (2023-05-26T02:51:39Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks [68.52621234990728]
  無線ネットワーク上でのフェデレーション学習(FL)は、精度、エネルギー効率、精度のバランスをとる必要がある。 本稿では,ローカルトレーニングとアップリンク伝送の両方において,有限レベルの精度でデータを表現できる量子化FLフレームワークを提案する。 我々のフレームワークは標準的なFLモデルと比較してエネルギー消費量を最大53%削減できる。
  論文  参考訳（メタデータ） (2021-11-15T17:00:03Z)
• Energy Efficient Learning with Low Resolution Stochastic Domain Wall Synapse Based Deep Neural Networks [0.9176056742068814]
  ドメインウォール(DW)位置の変動が大きい超低分解能(少なくとも5状態)シナプスは、エネルギー効率が良く、高い検定精度が得られることを実証した。 学習アルゴリズムに適切な修正を施すことにより,その動作と,その低分解能の効果に対処し,高いテスト精度を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-11-14T09:12:29Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Activation Density based Mixed-Precision Quantization for Energy Efficient Neural Networks [2.666640112616559]
  ニューラルネットワークモデルのイントレーニング量子化手法を提案する。 本手法は,混合精度モデルの学習中に各層に対するビット幅を計算する。 VGG19/ResNet18アーキテクチャ上で、CIFAR-10、CIFAR-100、TinyImagenetなどのベンチマークデータセットの実験を行います。
  論文  参考訳（メタデータ） (2021-01-12T09:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。