論文の概要: Dynamic Symmetric Point Tracking: Tackling Non-ideal Reference in Analog In-memory Training

• arxiv url: http://arxiv.org/abs/2602.21321v1
• Date: Tue, 24 Feb 2026 19:41:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.588963
• Title: Dynamic Symmetric Point Tracking: Tackling Non-ideal Reference in Analog In-memory Training
• Title（参考訳）: 動的対称点追跡:アナログインメモリトレーニングにおける非理想的基準に対処する
• Authors: Quan Xiao, Jindan Li, Zhaoxian Wu, Tayfun Gokmen, Tianyi Chen,
• Abstract要約: 本稿では,SPキャリブレーションのパルス複雑度と推定誤差の最初の理論的特徴について述べる。 本研究では,モデルトレーニング中にSPを追跡する動的SP推定法を提案し,その収束保証を確立する。
• 参考スコア（独自算出の注目度）: 46.75046795995564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analog in-memory computing (AIMC) performs computation directly within resistive crossbar arrays, offering an energy-efficient platform to scale large vision and language models. However, non-ideal analog device properties make the training on AIMC devices challenging. In particular, its update asymmetry can induce a systematic drift of weight updates towards a device-specific symmetric point (SP), which typically does not align with the optimum of the training objective. To mitigate this bias, most existing works assume the SP is known and pre-calibrate it to zero before training by setting the reference point as the SP. Nevertheless, calibrating AIMC devices requires costly pulse updates, and residual calibration error can directly degrade training accuracy. In this work, we present the first theoretical characterization of the pulse complexity of SP calibration and the resulting estimation error. We further propose a dynamic SP estimation method that tracks the SP during model training, and establishes its convergence guarantees. In addition, we develop an enhanced variant based on chopping and filtering techniques from digital signal processing. Numerical experiments demonstrate both the efficiency and effectiveness of the proposed method.
• Abstract（参考訳）: アナログインメモリコンピューティング(AIMC)は抵抗性クロスバーアレイ内で直接計算を行い、大きなビジョンと言語モデルをスケールするためのエネルギー効率の良いプラットフォームを提供する。 しかし、非理想的なアナログデバイス特性はAIMCデバイスでのトレーニングを困難にしている。 特に、その更新非対称性は、訓練対象の最適値と一致しないデバイス固有の対称点(SP)に向けて、重量更新の体系的なドリフトを誘導することができる。 このバイアスを軽減するために、既存のほとんどの研究は、SPが既知のものと仮定し、基準点をSPとして設定することで、訓練前に0に事前校正する。 それでも、AIMCデバイスを校正するには、高価なパルス更新が必要である。 本研究では,SPキャリブレーションのパルス複雑度と推定誤差の最初の理論的特徴について述べる。 さらに、モデルトレーニング中にSPを追跡する動的SP推定法を提案し、その収束保証を確立する。 さらに,デジタル信号処理のチョッピングとフィルタリング技術に基づく拡張版を開発した。 数値実験により,提案手法の有効性と有効性を示す。

関連論文リスト

• From Evaluation to Design: Using Potential Energy Surface Smoothness Metrics to Guide Machine Learning Interatomic Potential Architectures [12.68400434984463]
  MLIPは量子ポテンシャルエネルギー表面の物理的滑らかさを再現することができない。 マイクロカノニカル分子動力学のような既存の評価は計算に高価であり、主に近平衡状態を研究する。 MLIPの評価基準を改善するためにBSCT(Band Smoothness Characterization Test)を導入する。
  論文  参考訳（メタデータ） (2026-02-04T18:50:10Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Bisimulation metric for Model Predictive Control [44.301098448479195]
  Bisimulation Metric for Model Predictive Control (BS-MPC) は、目的関数にbisimulation metric lossを組み込んでエンコーダを直接最適化する新しい手法である。 BS-MPCは、トレーニング時間を削減することにより、トレーニング安定性、入力ノイズに対する堅牢性、および計算効率を向上させる。 我々は,DeepMind Control Suiteから連続制御および画像ベースタスクのBS-MPCを評価する。
  論文  参考訳（メタデータ） (2024-10-06T17:12:10Z)
• Deterministic and statistical calibration of constitutive models from full-field data with parametric physics-informed neural networks [36.136619420474766]
  フルフィールド変位データからモデルキャリブレーションを行うためのパラメトリック物理インフォームドニューラルネットワーク(PINN)について検討した。 PINNの高速評価により、ほぼリアルタイムでキャリブレーションを行うことができる。
  論文  参考訳（メタデータ） (2024-05-28T16:02:11Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• ESD: Expected Squared Difference as a Tuning-Free Trainable Calibration Measure [35.996971010199196]
  期待される正方偏差(ESD)は、チューニング不要なトレーニング可能なキャリブレーション目標損失である。 従来の手法と比較して,ESDが最良の校正結果をもたらすことを示す。 ESDは、トレーニング中の校正に必要な計算コストを大幅に改善する。
  論文  参考訳（メタデータ） (2023-03-04T18:06:36Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。