論文の概要: Rapid yet accurate Tile-circuit and device modeling for Analog In-Memory Computing

• arxiv url: http://arxiv.org/abs/2506.00004v1
• Date: Mon, 05 May 2025 22:56:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-08 12:40:08.597698
• Title: Rapid yet accurate Tile-circuit and device modeling for Analog In-Memory Computing
• Title（参考訳）: アナログインメモリコンピューティングのための高速かつ正確なタイル回路とデバイスモデリング
• Authors: J. Luquin, C. Mackin, S. Ambrogio, A. Chen, F. Baldi, G. Miralles, M. J. Rasch, J. Büchel, M. Lalwani, W. Ponghiran, P. Solomon, H. Tsai, G. W. Burr, P. Narayanan,
• Abstract要約: 低レベルの歪みやノイズの影響を定量化し,アナログタイルにマッピングした乗算積演算(MAC)の数学的モデルを開発する。 単純なガウス雑音を用いたハードウェアの微調整は、ADC量子化やPCMリードノイズ効果に対してレジリエンスをもたらすが、IR-dropに対しては効果が低いことを示す。
• 参考スコア（独自算出の注目度）: 4.566622328597218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analog In-Memory Compute (AIMC) can improve the energy efficiency of Deep Learning by orders of magnitude. Yet analog-domain device and circuit non-idealities -- within the analog ``Tiles'' performing Matrix-Vector Multiply (MVM) operations -- can degrade neural-network task accuracy. We quantify the impact of low-level distortions and noise, and develop a mathematical model for Multiply-ACcumulate (MAC) operations mapped to analog tiles. Instantaneous-current IR-drop (the most significant circuit non-ideality), and ADC quantization effects are fully captured by this model, which can predict MVM tile-outputs both rapidly and accurately, as compared to much slower rigorous circuit simulations. A statistical model of PCM read noise at nanosecond timescales is derived from -- and matched against -- experimental measurements. We integrate these (statistical) device and (deterministic) circuit effects into a PyTorch-based framework to assess the accuracy impact on the BERT and ALBERT Transformer networks. We show that hardware-aware fine-tuning using simple Gaussian noise provides resilience against ADC quantization and PCM read noise effects, but is less effective against IR-drop. This is because IR-drop -- although deterministic -- is non-linear, is changing significantly during the time-integration window, and is ultimately dependent on all the excitations being introduced in parallel into the analog tile. The apparent inability of simple Gaussian noise applied during training to properly prepare a DNN network for IR-drop during inference implies that more complex training approaches -- incorporating advances such as the Tile-circuit model introduced here -- will be critical for resilient deployment of large neural networks onto AIMC hardware.
• Abstract（参考訳）: アナログメモリ計算(AIMC)は、ディープラーニングのエネルギー効率を桁違いに向上させることができる。 しかし、アナログドメインデバイスと回路の非イデアル性 -- ‘Tiles’' のアナログ動作である Matrix-Vector Multiply (MVM) 操作 -- は、ニューラルネットワークタスクの精度を低下させる可能性がある。 低レベルの歪みとノイズの影響を定量化し、アナログタイルにマッピングされた乗算積演算(MAC)の数学的モデルを開発する。 瞬時電流IR-drop(最も重要な回路非理想性)とADC量子化効果は、より遅い厳密な回路シミュレーションと比較して、MVMタイル出力を高速かつ正確に予測できるモデルによって完全に捕捉される。 ナノ秒時間スケールにおけるPCMリードノイズの統計モデルは、--------実験結果から導かれる。 これらの(統計的)デバイスと(決定論的)回路効果をPyTorchベースのフレームワークに統合し、BERTおよびALBERTトランスフォーマーネットワークの精度への影響を評価する。 単純なガウス雑音を用いたハードウェア対応微調整は、ADC量子化やPCMリードノイズ効果に対してレジリエンスを提供するが、IR-dropに対しては効果が低いことを示す。 これは、IR-dropが(決定論的ではあるが)非線形であり、時間積分ウィンドウの間に大きく変化しており、最終的にはアナログタイルに並列に導入されたすべての励起に依存するためである。 推論中にIR-drop用のDNNネットワークを適切に準備するためにトレーニング中に適用される単純なガウスノイズが明らかに不可能であるということは、より複雑なトレーニングアプローチ -- ここで紹介されたTile-circuitモデルなどの進歩が、AIMCハードウェアへの大規模ニューラルネットワークのレジリエンスな展開に不可欠であることを意味している。

関連論文リスト

• Resource-Efficient Beam Prediction in mmWave Communications with Multimodal Realistic Simulation Framework [57.994965436344195]
  ビームフォーミングは、方向と強度を最適化して信号伝送を改善するミリ波通信において重要な技術である。 マルチモーダルセンシング支援ビーム予測は,ユーザ位置やネットワーク条件を予測するために,さまざまなセンサデータを使用して注目されている。 その有望な可能性にもかかわらず、マルチモーダルセンシング支援ビーム予測の採用は、高い計算複雑性、高いコスト、限られたデータセットによって妨げられている。
  論文  参考訳（メタデータ） (2025-04-07T15:38:25Z)
• Estimating Voltage Drop: Models, Features and Data Representation Towards a Neural Surrogate [1.7010199949406575]
  集積回路(IC)において、機械学習(ML)技術が計算労力を減らし、電圧低下を推定するのに要する時間を暗黙的に削減する方法について検討する。 我々のアプローチはASICの電気的、タイミング的、物理的にMLモデルを訓練し、最小限の調整を施した多種多様な設計への適応性を確保する。 本研究は,IRドロップを正確に推定し,ASICサインオフを最適化するMLアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2025-02-07T21:31:13Z)
• A Fully Hardware Implemented Accelerator Design in ReRAM Analog Computing without ADCs [5.6496088684920345]
  ReRAMベースのアクセラレータは、アナログ・コンピューティング・イン・メモリ(CiM)を介してニューラルネットワークを処理し、超高エネルギー効率を実現する。 本研究では、交叉二項化ニューロンを持つニューラルネットワークのSigmoidおよびSoftMaxアクティベーション機能のハードウェア実装について検討する。 本稿では、推論二項化ニューロンを活用することにより、ニューラルネットワークの計算を高速化する完全なReRAMベースのアナログコンピューティング加速器(RACA)を提案する。
  論文  参考訳（メタデータ） (2024-12-27T09:38:19Z)
• A Realistic Simulation Framework for Analog/Digital Neuromorphic Architectures [73.65190161312555]
  ARCANAは、混合信号ニューロモルフィック回路の特性を考慮に入れたソフトウェアスパイクニューラルネットワークシミュレータである。 得られた結果が,ソフトウェアでトレーニングされたスパイクニューラルネットワークの動作を,かつてハードウェアにデプロイされた場合の信頼性の高い推定方法を示す。
  論文  参考訳（メタデータ） (2024-09-23T11:16:46Z)
• Physics Informed Neural Networks for Phase Locked Loop Transient Stability Assessment [0.0]
  相ロックループ(PLL)のような電力電子制御器を用いて、グリッドとグリッドの同期性を維持することで、グリッドの故障時に高速な過渡的な動作を引き起こす。 本稿では,少ないラベル付きトレーニングデータを用いて,故障時のコントローラの過渡的ダイナミクスを正確に予測するニューラルネットワークアルゴリズムを提案する。 このアルゴリズムの性能は、CIGREベンチマークモデルC4.49のPSCADにおけるROMとEMTシミュレーションと比較され、グリッドインピーダンスの異なるコントローラの軌道とROAを正確に近似する能力を示している。
  論文  参考訳（メタデータ） (2023-03-21T18:09:20Z)
• Self-learning locally-optimal hypertuning using maximum entropy, and comparison of machine learning approaches for estimating fatigue life in composite materials [0.0]
  疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。 予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
  論文  参考訳（メタデータ） (2022-10-19T12:20:07Z)
• Signal Detection in MIMO Systems with Hardware Imperfections: Message Passing on Neural Networks [101.59367762974371]
  本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。 パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。 我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
  論文  参考訳（メタデータ） (2022-10-08T04:32:58Z)
• MemSE: Fast MSE Prediction for Noisy Memristor-Based DNN Accelerators [5.553959304125023]
  我々は,行列ベクトル乗算(MVM)を計算するためにmemristorを用いたDNNの平均二乗誤差を理論的に解析する。 DNNモデルのサイズを小さくする必要性から量子化ノイズと、中間値のプログラミングにおける可変性から生じるプログラミングノイズの両方を考慮に入れている。 提案手法はモンテカルロシミュレーションよりも約2桁高速であり, 与えられた電力制約に対して最小限の誤差を達成するために, 実装パラメータを最適化することができる。
  論文  参考訳（メタデータ） (2022-05-03T18:10:43Z)
• Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms [59.03426963238452]
  モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。 ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-03-15T09:38:15Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。