論文の概要: Harnessing Nonidealities in Analog In-Memory Computing Circuits: A Physical Modeling Approach for Neuromorphic Systems

• arxiv url: http://arxiv.org/abs/2412.09010v2
• Date: Fri, 21 Mar 2025 03:08:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:53:08.515219
• Title: Harnessing Nonidealities in Analog In-Memory Computing Circuits: A Physical Modeling Approach for Neuromorphic Systems
• Title（参考訳）: アナログインメモリ・コンピューティング・サーキットにおける非イデオロギーのハーネス化:ニューロモルフィックシステムの物理モデリングアプローチ
• Authors: Yusuke Sakemi, Yuji Okamoto, Takashi Morie, Sou Nobukawa, Takeo Hosomi, Kazuyuki Aihara,
• Abstract要約: インメモリコンピューティング(IMC)は、従来のディープラーニングアクセラレータに固有のフォン・ノイマンのボトルネックに対処することで、有望なソリューションを提供する。 本稿では、一般微分方程式(ODE)に基づく物理ニューラルネットワーク(PNN)として定式化されたIMCの物理モデルを直接訓練する新しい手法を提案する。 大規模ネットワークのトレーニングを可能にするため,DSTDと呼ばれる手法を提案し,ODEベースのPNNの計算コストを最大20倍、メモリ100倍に削減する。
• 参考スコア（独自算出の注目度）: 5.582327246405357
• License:
• Abstract: Large-scale deep learning models are increasingly constrained by their immense energy consumption, limiting their scalability and applicability for edge intelligence. In-memory computing (IMC) offers a promising solution by addressing the von Neumann bottleneck inherent in traditional deep learning accelerators, significantly reducing energy consumption. However, the analog nature of IMC introduces hardware nonidealities that degrade model performance and reliability. This paper presents a novel approach to directly train physical models of IMC, formulated as ordinary-differential-equation (ODE)-based physical neural networks (PNNs). To enable the training of large-scale networks, we propose a technique called differentiable spike-time discretization (DSTD), which reduces the computational cost of ODE-based PNNs by up to 20 times in speed and 100 times in memory. We demonstrate that such large-scale networks enhance the learning performance by exploiting hardware nonidealities on the CIFAR-10 dataset. The proposed bottom-up methodology is validated through the post-layout SPICE simulations on the IMC circuit with nonideal characteristics using the sky130 process. The proposed PNN approach reduces the discrepancy between the model behavior and circuit dynamics by at least an order of magnitude. This work paves the way for leveraging nonideal physical devices, such as non-volatile resistive memories, for energy-efficient deep learning applications.
• Abstract（参考訳）: 大規模ディープラーニングモデルは、エッジインテリジェンスに対するスケーラビリティと適用性を制限し、その膨大なエネルギー消費によってますます制約されている。 インメモリコンピューティング(IMC)は、従来のディープラーニングアクセラレータに固有のフォン・ノイマンのボトルネックに対処し、エネルギー消費を大幅に削減することで、有望なソリューションを提供する。 しかし、ICCのアナログ特性は、モデル性能と信頼性を低下させるハードウェアの非理想性を導入している。 本稿では,一般微分方程式 (ODE) に基づく物理ニューラルネットワーク (PNN) として定式化されたIMCの物理モデルを直接学習する手法を提案する。 大規模ネットワークのトレーニングを可能にするため,DSTDと呼ばれる手法を提案し,ODEベースのPNNの計算コストを最大20倍、メモリ100倍に削減する。 我々は,CIFAR-10データセット上でハードウェアの非理想性を活用することにより,このような大規模ネットワークが学習性能を向上させることを実証した。 提案手法は, Sky130 プロセスを用いた非理想特性の IMC 回路上でのポストレイアウト SPICE シミュレーションにより検証した。 提案したPNNアプローチは、モデル挙動と回路力学の相違を少なくとも1桁低減する。 この研究は、非揮発性抵抗性記憶などの非理想的物理デバイスをエネルギー効率のよいディープラーニング応用に活用する方法を開拓する。

関連論文リスト

• Comprehensive Online Training and Deployment for Spiking Neural Networks [40.255762156745405]
  スパイキングニューラルネットワーク(SNN)は、人工知能(AI)の今後の発展において大きな可能性を秘めていると考えられている 現在提案されているオンライントレーニング手法は,時間依存勾配の不分離問題に対処できない。 浮動小数点スパイクと二乗シナプス重みに基づく先進的なスパイクモデル群であるEM-PFモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-10T02:39:22Z)
• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Physics-Informed Neural Networks with Hard Linear Equality Constraints [9.101849365688905]
  本研究は,線形等式制約を厳格に保証する物理インフォームドニューラルネットワークKKT-hPINNを提案する。 溶融タンク炉ユニット, 抽出蒸留サブシステム, 化学プラントのアスペンモデル実験により, このモデルが予測精度をさらに高めることを示した。
  論文  参考訳（メタデータ） (2024-02-11T17:40:26Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Hardware-aware training for large-scale and diverse deep learning inference workloads using in-memory computing-based accelerators [7.152059921639833]
  大規模なディープニューラルネットワークの多くは、AIMC上での等精度を示すために、再訓練が成功できることが示されている。 以上の結果から,重みではなく入力や出力にノイズを加えるAIMCの非理想性が,DNNの精度に最も影響を与えることが示唆された。
  論文  参考訳（メタデータ） (2023-02-16T18:25:06Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses [1.9809266426888898]
  専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。 本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。 我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
  論文  参考訳（メタデータ） (2021-08-04T01:24:17Z)
• Inverse-Dirichlet Weighting Enables Reliable Training of Physics Informed Neural Networks [2.580765958706854]
  我々は、深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを記述し、治療する。 PINNは、物理方程式モデルとデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。 逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。
  論文  参考訳（メタデータ） (2021-07-02T10:01:37Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。