論文の概要: In-memory Training on Analog Devices with Limited Conductance States via Multi-tile Residual Learning

• arxiv url: http://arxiv.org/abs/2510.02516v1
• Date: Thu, 02 Oct 2025 19:44:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.150564
• Title: In-memory Training on Analog Devices with Limited Conductance States via Multi-tile Residual Learning
• Title（参考訳）: 多要素残差学習によるコンダクタンス状態に制限のあるアナログ装置のインメモリトレーニング
• Authors: Jindan Li, Zhaoxian Wu, Gaowen Liu, Tayfun Gokmen, Tianyi Chen,
• Abstract要約: インメモリトレーニングは通常、デジタルベースラインに合わせて少なくとも8ビットのコンダクタンス状態を必要とする。 ReRAMのような多くの有望な中間デバイスは、製造制約のため、約4ビットの解像度しか提供しない。 本稿では,残差を補うために複数のクロスバータイルを逐次学習する語彙学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 59.091567092071564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analog in-memory computing (AIMC) accelerators enable efficient deep neural network computation directly within memory using resistive crossbar arrays, where model parameters are represented by the conductance states of memristive devices. However, effective in-memory training typically requires at least 8-bit conductance states to match digital baselines. Realizing such fine-grained states is costly and often requires complex noise mitigation techniques that increase circuit complexity and energy consumption. In practice, many promising memristive devices such as ReRAM offer only about 4-bit resolution due to fabrication constraints, and this limited update precision substantially degrades training accuracy. To enable on-chip training with these limited-state devices, this paper proposes a \emph{residual learning} framework that sequentially learns on multiple crossbar tiles to compensate the residual errors from low-precision weight updates. Our theoretical analysis shows that the optimality gap shrinks with the number of tiles and achieves a linear convergence rate. Experiments on standard image classification benchmarks demonstrate that our method consistently outperforms state-of-the-art in-memory analog training strategies under limited-state settings, while incurring only moderate hardware overhead as confirmed by our cost analysis.
• Abstract（参考訳）: アナログインメモリコンピューティング(AIMC)アクセラレータは、抵抗性クロスバーアレイを使用して、メモリ内の効率的なディープニューラルネットワーク計算を可能にする。 しかし、効果的なインメモリトレーニングでは、デジタルベースラインに合わせるために、通常、少なくとも8ビットのコンダクタンス状態が必要である。 このような微細な状態を実現するにはコストがかかり、回路の複雑さとエネルギー消費を増大させる複雑なノイズ低減技術が必要となることが多い。 実際には、ReRAMのような多くの有望な機械装置は製造制約のために約4ビットの解像度しか提供せず、この限定的な更新精度はトレーニングの精度を著しく低下させる。 そこで本研究では,複数のクロスバータイル上で逐次学習し,低精度の重み更新による残差を補償する「emph{residual learning} framework」を提案する。 我々の理論的解析は、最適性ギャップがタイルの数とともに縮み、線形収束率を達成することを示している。 標準画像分類ベンチマーク実験により,我々の手法は,コスト分析によって確認されたハードウェアオーバーヘッドのみを発生させながら,限られた条件下での最先端のインメモリアナログトレーニング戦略を一貫して上回ることを示した。

関連論文リスト

• Reduced Order Modeling with Shallow Recurrent Decoder Networks [5.686433280542813]
  SHRED-ROMは、数値的に不安定な逆近似を符号化する堅牢な復号のみの戦略である。 SHRED-ROMは、固定センサや移動センサの限られた値から、新しいパラメータ値の状態を正確に再構成する。
  論文  参考訳（メタデータ） (2025-02-15T23:41:31Z)
• Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
  継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。 本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。 モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Hardware-aware Training Techniques for Improving Robustness of Ex-Situ Neural Network Transfer onto Passive TiO2 ReRAM Crossbars [0.8553766625486795]
  ドロップアウト, 再パラメータ化トリック, TiO2クロスバー変数の正規化といった手法を応用したトレーニング手法を提案する。 提案手法を用いてトレーニングされたニューラルネットワークでは、テストセットのデータポイントの79.5%を95%以上の精度で分類することができる。
  論文  参考訳（メタデータ） (2023-05-29T13:55:02Z)
• Examining the Role and Limits of Batchnorm Optimization to Mitigate Diverse Hardware-noise in In-memory Computing [3.9488615467284225]
  アナログクロスバーのようなインメモリコンピューティング(IMC)プラットフォームは、低精度のディープニューラルネットワーク(DNN)を高い面積と計算効率で加速する上で、注目されている。 クロスバーの固有の非イデオロギーは、しばしば非決定的で非線形であり、デプロイされたDNNの性能を低下させる。 本研究は, アナログクロスバーのドット積操作における非イデアル性に起因する歪みについて検討することを目的とする。
  論文  参考訳（メタデータ） (2023-05-28T19:07:25Z)
• Aggregating Capacity in FL through Successive Layer Training for Computationally-Constrained Devices [3.4530027457862]
  フェデレートラーニング(FL)は通常、リソース制約されたエッジデバイス上で実行される。 FLトレーニングプロセスはそのような制約に合わせて調整されるべきである。 本研究では,FLモデルのパラメータをデバイス上で連続的に凍結・訓練する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T15:04:06Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [62.932299614630985]
  本稿では, アクティベーション, ウェイト, 勾配の精度を徐々に向上させる, プログレッシブ分数量子化を統合したFracTrainを提案する。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。