論文の概要: Making Analog Training Scale: Co-Designing Mapping, Optimizer, and Converters

• arxiv url: http://arxiv.org/abs/2609.36584v1
• Date: Tue, 29 Sep 2026 03:02:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.140768
• Title: Making Analog Training Scale: Co-Designing Mapping, Optimizer, and Converters
• Title（参考訳）: アナログトレーニングのスケールを作る - 共設計マッピング、最適化、コンバータ
• Abstract要約: 我々は、AIMCをスケーリングしてモダンなディープモデルをトレーニングするためのフレームワークを開発する。 我々のフレームワークはTransformerトレーニングを123textM$パラメータにスケールし、検証損失スケーリングを$Lpropto N-0.231$とします。
• 参考スコア（独自算出の注目度）: 42.46218878549566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analog in-memory computing (AIMC) offers an alternative for model training by executing matrix operations directly where weights are stored. However, scaling AIMC to train modern deep models remains an open challenge due to severe hardware non-idealities, including physical weights with finite dynamic range and write granularity, analog-digital converters with finite resolution, and noisy and asymmetric updates. Guided by the insight that gradient accumulation is sensitive to precision and rounding errors, we adopt a mixed-precision training paradigm: executing forward and backward matrix multiplications in the analog domain while computing weight gradients in the digital domain. To enable scalable training, we present a holistic system-algorithm co-design that co-optimizes weight mapping to ensure well-conditioned physical and logical weight profiles, couples a preconditioned optimizer with threshold-triggered open-loop pulsing to stabilize training trajectories, and aligns converter dynamic ranges to suppress quantization errors. Evaluated via hardware-calibrated architectural simulations calibrated with electrochemical RAM measurements, our framework scales Transformer training up to $123\text{M}$ parameters with validation loss scaling as $L\propto N^{-0.231}$, where $N$ is the parameter count, comparable to $L\propto N^{-0.238}$ for digital training.
• Abstract（参考訳）: アナログインメモリコンピューティング(AIMC)は、重みが格納されているマトリックス操作を直接実行するモデルトレーニングの代替手段を提供する。 しかし、最近のディープモデルをトレーニングするためにAIMCをスケールすることは、有限のダイナミックレンジを持つ物理重みや書き込みの粒度、有限の解像度を持つアナログデジタルコンバータ、ノイズと非対称の更新など、ハードウエアの非理想性のために、依然としてオープンな課題である。 勾配の蓄積は精度や丸め誤差に敏感であるという知見に導かれ、デジタル領域の重み勾配を計算しながらアナログ領域の前方および後方行列乗算を実行する混合精度訓練パラダイムを採用する。 拡張性のあるトレーニングを実現するために,重みマッピングを併用して,適切な物理量および論理量プロファイルの確保,しきい値トリガー付きオープンループパルスによるプリコンディショニングオプティマイザの結合,トレーニング軌道の安定化,コンバータダイナミックレンジの整合化,量子化誤差の抑制などが提案される。 電気化学RAM測定で校正したハードウェア校正アーキテクチャシミュレーションによって評価され、我々のフレームワークスケールでは、Transformerトレーニングを最大で123\text{M}$パラメータに拡張し、検証損失のスケーリングを$L\propto N^{-0.231}$とすることで、デジタルトレーニングのパラメータカウントとして$N$を$L\propto N^{-0.238}$に匹敵する。

関連論文リスト

• IMC-CLINIC: Coupled Loss-Informed Newton Iterations for Clipping in Analog In-Memory Computing [4.370535633626118]
  IMCCLINIC(Coupled Loss-Informed Newton Iterations for Clipping)は,IMC MatMul出力誤差の解析的サロゲートに基づくクリッピングキャリブレーションフレームワークである。 平均ゼロショット精度を6.5-11.5ポイント向上させ、キャリブレーション時間係数を10.0-12.1に下げる。
  論文  参考訳（メタデータ） (2026-09-28T16:38:47Z)
• Dynamic Symmetric Point Tracking: Tackling Non-ideal Reference in Analog In-memory Training [46.75046795995564]
  本稿では,SPキャリブレーションのパルス複雑度と推定誤差の最初の理論的特徴について述べる。 本研究では,モデルトレーニング中にSPを追跡する動的SP推定法を提案し,その収束保証を確立する。
  論文  参考訳（メタデータ） (2026-02-24T19:41:34Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Characterization and Mitigation of Training Instabilities in Microscaling Formats [6.025438902954768]
  大規模言語モデルのトレーニングは、高価な計算処理です。 次世代ハードウェアアクセラレータは、より低い精度の算術形式をサポートするようになった。 モデル学習におけるブロックスケール精度フォーマットの課題と実現可能性について検討する。
  論文  参考訳（メタデータ） (2025-06-25T18:25:08Z)
• Designing DNNs for a trade-off between robustness and processing performance in embedded devices [1.474723404975345]
  機械学習ベースの組み込みシステムは、ソフトエラーに対して堅牢である必要がある。 本稿では,摂動に対するモデルロバスト性を改善するために有界AFを用いた場合の適合性について検討する。 自律運転におけるシーン理解のためのハイパースペクトル画像のセマンティックセグメンテーションタスクの実行を目的としたエンコーダ・デコーダの完全畳み込みモデルの解析を行う。
  論文  参考訳（メタデータ） (2024-12-04T19:34:33Z)
• End-to-End Reinforcement Learning of Koopman Models for Economic Nonlinear Model Predictive Control [45.84205238554709]
  本研究では, (e)NMPCの一部として最適性能を示すために, Koopman シュロゲートモデルの強化学習法を提案する。 エンドツーエンドトレーニングモデルは,(e)NMPCにおけるシステム識別を用いてトレーニングしたモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-03T10:21:53Z)
• Bulk-Switching Memristor-based Compute-In-Memory Module for Deep Neural Network Training [15.660697326769686]
  本稿では,memristor-based Compute-in-Memory (CIM)モジュールの混合精度トレーニング手法を提案する。 提案方式は、完全に統合されたアナログCIMモジュールとデジタルサブシステムからなるシステムオンチップ(SoC)を用いて実装される。 より大規模なモデルのトレーニングの有効性は、現実的なハードウェアパラメータを用いて評価され、アナログCIMモジュールが、完全精度のソフトウェアトレーニングモデルに匹敵する精度で、効率的な混合精度トレーニングを可能にすることを示す。
  論文  参考訳（メタデータ） (2023-05-23T22:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。