論文の概要: Bruno: Backpropagation Running Undersampled for Novel device Optimization

• arxiv url: http://arxiv.org/abs/2505.17791v1
• Date: Fri, 23 May 2025 12:06:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.046968
• Title: Bruno: Backpropagation Running Undersampled for Novel device Optimization
• Title（参考訳）: Bruno: 新たなデバイス最適化のためにアンサンプされたバックプロパゲーション
• Authors: Luca Fehlings, Bojian Zhang, Paolo Gibertini, Martin A. Nicholson, Erika Covi, Fernando M. Quintana,
• Abstract要約: 強誘電体非揮発性デバイス(RRAM)上に構築されたスパイキングニューロンとシナプスに基づくハードウェアのためのニューラルネットワークのトレーニングのためのボトムアップアプローチを提案する。 トレーニングアルゴリズムは、RRAMと強誘電体集積火炎ニューロンに基づく量子化されたシナプスからなるネットワークでデータセット上でテストされる。
• 参考スコア（独自算出の注目度）: 37.69303106863453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent efforts to improve the efficiency of neuromorphic and machine learning systems have focused on the development of application-specific integrated circuits (ASICs), which provide hardware specialized for the deployment of neural networks, leading to potential gains in efficiency and performance. These systems typically feature an architecture that goes beyond the von Neumann architecture employed in general-purpose hardware such as GPUs. Neural networks developed for this specialised hardware then need to take into account the specifics of the hardware platform, which requires novel training algorithms and accurate models of the hardware, since they cannot be abstracted as a general-purpose computing platform. In this work, we present a bottom-up approach to train neural networks for hardware based on spiking neurons and synapses built on ferroelectric capacitor (FeCap) and Resistive switching non-volatile devices (RRAM) respectively. In contrast to the more common approach of designing hardware to fit existing abstract neuron or synapse models, this approach starts with compact models of the physical device to model the computational primitive of the neurons. Based on these models, a training algorithm is developed that can reliably backpropagate through these physical models, even when applying common hardware limitations, such as stochasticity, variability, and low bit precision. The training algorithm is then tested on a spatio-temporal dataset with a network composed of quantized synapses based on RRAM and ferroelectric leaky integrate-and-fire (FeLIF) neurons. The performance of the network is compared with different networks composed of LIF neurons. The results of the experiments show the potential advantage of using BRUNO to train networks with FeLIF neurons, by achieving a reduction in both time and memory for detecting spatio-temporal patterns with quantized synapses.
• Abstract（参考訳）: ニューロモルフィックおよび機械学習システムの効率性を改善するための最近の取り組みは、ニューラルネットワークの展開に特化したハードウェアを提供するアプリケーション固有の集積回路(ASIC)の開発に焦点を当てており、効率と性能の潜在的な向上につながっている。 これらのシステムは通常、GPUのような汎用ハードウェアで使用されるフォン・ノイマンアーキテクチャを超えるアーキテクチャを特徴としている。 この特殊なハードウェアのために開発されたニューラルネットワークは、汎用コンピューティングプラットフォームとして抽象化できないため、新しいトレーニングアルゴリズムとハードウェアの正確なモデルを必要とするハードウェアプラットフォームの詳細を考慮する必要がある。 本研究では,強誘電体コンデンサ(FeCap)と抵抗スイッチング非揮発性デバイス(RRAM)上に構築されたスパイクニューロンとシナプスに基づいて,ハードウェアのためのニューラルネットワークをトレーニングするためのボトムアップ手法を提案する。 既存の抽象ニューロンやシナプスモデルに適合するハードウェアを設計するより一般的なアプローチとは対照的に、このアプローチは、ニューロンの計算プリミティブをモデル化する物理デバイスのコンパクトモデルから始まる。 これらのモデルに基づいて、確率性、可変性、低ビット精度といった共通のハードウェア制限を適用しても、これらの物理モデルを通して確実に逆伝播できるトレーニングアルゴリズムが開発された。 トレーニングアルゴリズムは、RRAMと強誘電体漏れ積分(FeLIF)ニューロンに基づく量子化されたシナプスからなるネットワークを備えた時空間データセット上でテストされる。 ネットワークの性能は、LIFニューロンからなる異なるネットワークと比較される。 実験の結果, 量子化シナプスを用いた時空間パターンの検出において, 時間とメモリの両方を短縮することで, フェLIFニューロンを用いたネットワークのトレーニングにBRUNOを用いることの利点が示された。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• A Realistic Simulation Framework for Analog/Digital Neuromorphic Architectures [73.65190161312555]
  ARCANAは、混合信号ニューロモルフィック回路の特性を考慮に入れたソフトウェアスパイクニューラルネットワークシミュレータである。 得られた結果が,ソフトウェアでトレーニングされたスパイクニューラルネットワークの動作を,かつてハードウェアにデプロイされた場合の信頼性の高い推定方法を示す。
  論文  参考訳（メタデータ） (2024-09-23T11:16:46Z)
• Quantization of Deep Neural Networks to facilitate self-correction of weights on Phase Change Memory-based analog hardware [0.0]
  乗法重みの集合を近似するアルゴリズムを開発する。 これらの重みは、性能の損失を最小限に抑えながら、元のネットワークの重みを表現することを目的としている。 その結果、オンチップパルス発生器と組み合わせると、私たちの自己補正ニューラルネットワークはアナログ認識アルゴリズムで訓練されたものと同等に機能することがわかった。
  論文  参考訳（メタデータ） (2023-09-30T10:47:25Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Neural net modeling of equilibria in NSTX-U [0.0]
  我々は平衡モデルと形状制御モデルに関連する2つのニューラルネットワークを開発する。 ネットワークにはEFIT01再構成アルゴリズムでトレーニングされた自由境界均衡解法であるEqnetと、Gspert符号でトレーニングされたPertnetが含まれる。 本報告では,これらのモデルが閉ループシミュレーションで確実に使用できることを示す。
  論文  参考訳（メタデータ） (2022-02-28T16:09:58Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
  本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
  論文  参考訳（メタデータ） (2021-01-21T15:56:29Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Benchmarking Deep Spiking Neural Networks on Neuromorphic Hardware [0.0]
  我々は、トレーニング済みの非スパイクをスパイクニューラルネットワークに変換する手法を用いて、性能損失を評価し、インジェクション当たりのエネルギを測定する。 変換損失は、通常、デジタル実装では1%以下であり、アナログシステムでは、より少ないエネルギー/推論コストの利点により、適度に高いことが示される。
  論文  参考訳（メタデータ） (2020-04-03T16:25:49Z)
• Structural plasticity on an accelerated analog neuromorphic hardware system [0.46180371154032884]
  我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。 我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。 ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
  論文  参考訳（メタデータ） (2019-12-27T10:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。