論文の概要: Training Physical Neural Networks for Analog In-Memory Computing

• arxiv url: http://arxiv.org/abs/2412.09010v1
• Date: Thu, 12 Dec 2024 07:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:31:47.026417
• Title: Training Physical Neural Networks for Analog In-Memory Computing
• Title（参考訳）: アナログインメモリコンピューティングのための物理ニューラルネットワークの訓練
• Authors: Yusuke Sakemi, Yuji Okamoto, Takashi Morie, Sou Nobukawa, Takeo Hosomi, Kazuyuki Aihara,
• Abstract要約: 本稿では,IMCの物理モデル構築のための物理ニューラルネットワーク(PNN)を提案する。 従来,デトリメンタルと見なされていたハードウェア非イデオロギーにより,学習性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 5.582327246405357
• License:
• Abstract: In-memory computing (IMC) architectures mitigate the von Neumann bottleneck encountered in traditional deep learning accelerators. Its energy efficiency can realize deep learning-based edge applications. However, because IMC is implemented using analog circuits, inherent non-idealities in the hardware pose significant challenges. This paper presents physical neural networks (PNNs) for constructing physical models of IMC. PNNs can address the synaptic current's dependence on membrane potential, a challenge in charge-domain IMC systems. The proposed model is mathematically equivalent to spiking neural networks with reversal potentials. With a novel technique called differentiable spike-time discretization, the PNNs are efficiently trained. We show that hardware non-idealities traditionally viewed as detrimental can enhance the model's learning performance. This bottom-up methodology was validated by designing an IMC circuit with non-ideal characteristics using the sky130 process. When employing this bottom-up approach, the modeling error reduced by an order of magnitude compared to conventional top-down methods in post-layout simulations.
• Abstract（参考訳）: インメモリコンピューティング(IMC)アーキテクチャは、従来のディープラーニングアクセラレータで発生するフォン・ノイマンのボトルネックを軽減する。 そのエネルギー効率は深層学習に基づくエッジアプリケーションを実現することができる。 しかし、ICCはアナログ回路を用いて実装されているため、ハードウェアに固有の非理想性には大きな課題がある。 本稿では,IMCの物理モデル構築のための物理ニューラルネットワーク(PNN)を提案する。 PNNは、電荷領域IMCシステムの課題である膜電位へのシナプス電流の依存に対処することができる。 提案モデルは,逆ポテンシャルを持つスパイクニューラルネットワークと数学的に等価である。 差別化可能なスパイクタイム離散化と呼ばれる新しい手法により、PNNは効率的に訓練される。 従来,デトリメンタルと見なされていたハードウェア非イデオロギーにより,学習性能が向上することを示す。 このボトムアップ手法は、Sky130プロセスを用いて非理想特性のIMC回路を設計することで検証された。 このボトムアップ手法を採用すると、モデリング誤差はポストレイアウトシミュレーションにおける従来のトップダウン法に比べて桁違いに減少する。

関連論文リスト

• Comprehensive Online Training and Deployment for Spiking Neural Networks [40.255762156745405]
  スパイキングニューラルネットワーク(SNN)は、人工知能(AI)の今後の発展において大きな可能性を秘めていると考えられている 現在提案されているオンライントレーニング手法は,時間依存勾配の不分離問題に対処できない。 浮動小数点スパイクと二乗シナプス重みに基づく先進的なスパイクモデル群であるEM-PFモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-10T02:39:22Z)
• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Physics-Informed Neural Networks with Hard Linear Equality Constraints [9.101849365688905]
  本研究は,線形等式制約を厳格に保証する物理インフォームドニューラルネットワークKKT-hPINNを提案する。 溶融タンク炉ユニット, 抽出蒸留サブシステム, 化学プラントのアスペンモデル実験により, このモデルが予測精度をさらに高めることを示した。
  論文  参考訳（メタデータ） (2024-02-11T17:40:26Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Hardware-aware training for large-scale and diverse deep learning inference workloads using in-memory computing-based accelerators [7.152059921639833]
  大規模なディープニューラルネットワークの多くは、AIMC上での等精度を示すために、再訓練が成功できることが示されている。 以上の結果から,重みではなく入力や出力にノイズを加えるAIMCの非理想性が,DNNの精度に最も影響を与えることが示唆された。
  論文  参考訳（メタデータ） (2023-02-16T18:25:06Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses [1.9809266426888898]
  専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。 本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。 我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
  論文  参考訳（メタデータ） (2021-08-04T01:24:17Z)
• Inverse-Dirichlet Weighting Enables Reliable Training of Physics Informed Neural Networks [2.580765958706854]
  我々は、深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを記述し、治療する。 PINNは、物理方程式モデルとデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。 逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。
  論文  参考訳（メタデータ） (2021-07-02T10:01:37Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。