論文の概要: Energy-convergence trade off for the training of neural networks on bio-inspired hardware

• arxiv url: http://arxiv.org/abs/2509.18121v1
• Date: Wed, 10 Sep 2025 15:40:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-28 15:30:14.383307
• Title: Energy-convergence trade off for the training of neural networks on bio-inspired hardware
• Title（参考訳）: バイオインスパイアされたハードウェア上でのニューラルネットワークのトレーニングのためのエネルギー・収束トレードオフ
• Authors: Nikhil Garg, Paul Uriarte Vicandi, Yanming Zhang, Alexandre Baigol, Donato Francesco Falcone, Saketh Ram Mamidala, Bert Jan Offrein, Laura Bégon-Lours,
• Abstract要約: 新たな経験的デバイスは、計算とメモリ間のコストのかかるデータ転送を排除して、ニューラルネットワークのトレーニングを加速することを約束する。 本稿では,HfO2/ZrO2超格子を用いた強誘電体シナプスデバイスについて検討し,実験によって測定した重み付けをハードウェア対応ニューラルネットワークシミュレーションに適用する。 20 ns から 0.2 ms までのパルス幅で、短いパルスは更新エネルギーを低くするが、精度を犠牲にすることなく総エネルギーを減少させる。
• 参考スコア（独自算出の注目度）: 35.74007073601019
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The increasing deployment of wearable sensors and implantable devices is shifting AI processing demands to the extreme edge, necessitating ultra-low power for continuous operation. Inspired by the brain, emerging memristive devices promise to accelerate neural network training by eliminating costly data transfers between compute and memory. Though, balancing performance and energy efficiency remains a challenge. We investigate ferroelectric synaptic devices based on HfO2/ZrO2 superlattices and feed their experimentally measured weight updates into hardware-aware neural network simulations. Across pulse widths from 20 ns to 0.2 ms, shorter pulses lower per-update energy but require more training epochs while still reducing total energy without sacrificing accuracy. Classification accuracy using plain stochastic gradient descent (SGD) is diminished compared to mixed-precision SGD. We analyze the causes and propose a ``symmetry point shifting'' technique, addressing asymmetric updates and restoring accuracy. These results highlight a trade-off among accuracy, convergence speed, and energy use, showing that short-pulse programming with tailored training significantly enhances on-chip learning efficiency.
• Abstract（参考訳）: ウェアラブルセンサーと組み込みデバイスの普及は、AI処理の要求を極端にシフトさせ、継続的な運用には超低電力を必要とする。 脳にインスパイアされた新しい記憶装置は、計算とメモリの間のコストのかかるデータ転送をなくすことで、ニューラルネットワークのトレーニングを加速する。 しかし、性能とエネルギー効率のバランスは依然として課題である。 本稿では,HfO2/ZrO2超格子を用いた強誘電体シナプスデバイスについて検討し,実験によって測定した重み付けをハードウェア対応ニューラルネットワークシミュレーションに適用する。 20 nsから0.2 msまでのパルス幅で、短いパルスは更新エネルギーを低くするが、精度を犠牲にすることなく総エネルギーを削減しつつ、より多くの訓練エポックを必要とする。 SGDの分類精度は混合精度のSGDと比較して低下する。 原因を分析し,非対称な更新に対処し,精度を回復する「対称性点シフト」手法を提案する。 これらの結果は, 精度, 収束速度, エネルギー利用のトレードオフを浮き彫りにし, 調整訓練による短パルスプログラミングは, チップ上での学習効率を著しく向上させることを示した。

関連論文リスト

• An Exact Gradient Framework for Training Spiking Neural Networks [0.7366405857677227]
  スパイクニューラルネットワークは本質的に、離散スパイクイベントの正確なタイミングを情報処理に頼っている。 本稿では、シナプス重みと伝送遅延に関して正確な損失勾配を計算するイベント駆動学習フレームワークを提案する。 複数のベンチマークの実験では、既存の手法と比較して精度(最大7%)、タイミング精度、堅牢性が顕著に向上した。
  論文  参考訳（メタデータ） (2025-07-08T11:55:27Z)
• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。 スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。 分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。 本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Low-power event-based face detection with asynchronous neuromorphic hardware [2.0774873363739985]
  本稿では、SynSense Speckニューロモルフィックチップ上に展開されたイベントベースの顔検出のためのオンチップスパイクニューラルネットワークの最初の例を示す。 トレーニングに用いるオフチップクロック駆動シミュレーションとオンチップイベント駆動推論との精度の相違について述べる。 オンチップ顔検出のmAP[0.5]は0.6で、20mWしか消費しない。
  論文  参考訳（メタデータ） (2023-12-21T19:23:02Z)
• Evaluating Spiking Neural Network On Neuromorphic Platform For Human Activity Recognition [2.710807780228189]
  エネルギー効率と低レイテンシは、ウェアラブルAIを活用した人間の活動認識システムにとって重要な要件である。 スパイクベースのワークアウト認識システムは、従来のニューラルネットワークを備えた一般的なミリワットRISC-VベースマルチコアプロセッサGAP8に匹敵する精度を達成することができる。
  論文  参考訳（メタデータ） (2023-08-01T18:59:06Z)
• Block-Wise Dynamic-Precision Neural Network Training Acceleration via Online Quantization Sensitivity Analytics [8.373265629267257]
  ブロックワイドな動的精度ニューラルネットワークトレーニングフレームワークDYNASTYを提案する。 DYNASTYは、高速オンライン分析を通じて正確なデータ感度情報を提供し、適応ビット幅マップジェネレータによる安定したトレーニング収束を維持する。 8ビットの量子化ベースラインと比較して、DYNASTYは5.1タイムのスピードアップと4.7タイムのエネルギー消費削減を実現し、精度の低下やハードウェアのオーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2022-10-31T03:54:16Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• SOUL: An Energy-Efficient Unsupervised Online Learning Seizure Detection Classifier [68.8204255655161]
  神経活動を記録して発作を検出するインプラントデバイスは、発作を抑えるために警告を発したり神経刺激を誘発したりするために採用されている。 移植可能な発作検出システムでは、低出力で最先端のオンライン学習アルゴリズムを使用して、神経信号のドリフトに動的に適応することができる。 SOULはTSMCの28nmプロセスで0.1mm2を占め、1.5nJ/分級エネルギー効率を実現した。
  論文  参考訳（メタデータ） (2021-10-01T23:01:20Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Surrogate gradients for analog neuromorphic computing [2.6475944316982942]
  デバイスミスマッチに対する自己修正学習は,視覚と音声のベンチマークにおいて,競争力のあるネットワーク性能をもたらすことを示す。 我々の研究は、アナログニューロモルフィックハードウェア上での低エネルギースパイクネットワーク処理のための新しいベンチマークをいくつか設定する。
  論文  参考訳（メタデータ） (2020-06-12T14:45:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。