論文の概要: Robust Parameter-Efficient LLM Adaptation on Analog Hardware

• arxiv url: http://arxiv.org/abs/2610.05318v1
• Date: Sun, 04 Oct 2026 15:39:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 21:44:35.490495
• Title: Robust Parameter-Efficient LLM Adaptation on Analog Hardware
• Title（参考訳）: アナログハードウェアにおけるロバストパラメータ効率のLLM適応
• Abstract要約: 低ランク適応(LoRA)に基づくパラメータに依存しない効率的な適応法を開発する。 入力再フォーマットを用いて入力誘起MVMエラーを低減し、有限状態アナログデバイスにプログラムする前に小さな更新を保持するために累積を更新する。 追加の実験では、ノイズの多いアナログ設定に対して、一貫した負のログライクな改善が示されている。
• 参考スコア（独自算出の注目度）: 48.810148858960254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analog in-memory computing is a promising platform for on-device execution of large language models because it performs matrix--vector multiplications (MVMs) in memory and in parallel, reducing data movement. However, limited digital-to-analog converter precision, input noise, and finite conductance states can degrade model accuracy, while full-model retraining to address these effects can be costly. We develop an optimizer-agnostic, parameter-efficient adaptation method based on Low-Rank Adaptation (LoRA), keeping the pretrained weights stored on analog arrays fixed while training the LoRA weights to adapt to downstream tasks and hardware non-idealities. Reliable adaptation requires handling errors in both forward and backward MVMs and physical weight updates. We use input reshaping to reduce input-induced MVM errors and update accumulation to retain small updates before programming them to finite-state analog devices. Across Llama-3.2-1B-Instruct and Llama-3-8B with both Muon and AdamW, input reshaping improves analog LoRA fine-tuning under noisy MVM computation. Update accumulation separately preserves sub-threshold updates and substantially improves adaptation under finite-resolution programming, including configurations with as few as 20 conductance states. Additional experiments show consistent held-out negative log-likelihood improvements across noisy analog settings.
• Abstract（参考訳）: アナログインメモリコンピューティングは、メモリと並列で行列ベクトル乗算(MVM)を実行するため、大規模な言語モデルのオンデバイス実行には有望なプラットフォームである。 しかし、デジタル・アナログ変換器の精度、入力ノイズ、有限コンダクタンス状態の制限はモデルの精度を低下させる可能性がある。 低ランク適応(LoRA)に基づく最適化型パラメータ非効率適応法を開発し、LoRA重みをトレーニング中にアナログアレイに格納した事前学習した重みを固定し、下流タスクやハードウェア非イデアルに適応させる。 信頼性の高い適応には、前方および後方のMVMと物理量の更新の両方でエラーを処理する必要がある。 入力再フォーマットを用いて入力誘起MVMエラーを低減し、有限状態アナログデバイスにプログラムする前に小さな更新を保持するために累積を更新する。 Llama-3.2-1B-Instruct と Llama-3-8B に Muon と AdamW を併用した入力再構成により、ノイズの多い MVM 計算におけるアナログ LoRA の微調整が改善された。 更新累積はサブスレッド更新を別々に保存し、20のコンダクタンス状態を持つ構成を含む有限解像度プログラミングによる適応を大幅に改善する。 追加の実験では、ノイズの多いアナログ設定に対して、一貫した負のログライクな改善が示されている。

関連論文リスト

• Making Analog Training Scale: Co-Designing Mapping, Optimizer, and Converters [42.46218878549566]
  我々は、AIMCをスケーリングしてモダンなディープモデルをトレーニングするためのフレームワークを開発する。 我々のフレームワークはTransformerトレーニングを123textM$パラメータにスケールし、検証損失スケーリングを$Lpropto N-0.231$とします。
  論文  参考訳（メタデータ） (2026-09-29T03:02:50Z)
• Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference [14.784763071210014]
  トランスフォーマーに基づく言語モデルは、高い性能を実現するが、高次元行列乗算の繰り返しによる相当な推論コストが生じる。 本稿では,学習不要で入力適応型推論手法であるReduced Matrix multiplication (RMM)を提案する。
  論文  参考訳（メタデータ） (2026-08-13T16:16:04Z)
• Positional Encoding in the Context of Memristor-Based Analog Computation for Automatic Speech Recognition [15.992009842323379]
  変換された位置エンコーディングの大きな出力値を特定し、アナログ-デジタル変換において大きな劣化を引き起こす。 特定の膜層におけるADCの重みと精度ビットの比率を調整することにより, 性能劣化を50%低減する。
  論文  参考訳（メタデータ） (2026-06-11T14:05:58Z)
• MemDLM: Memory-Enhanced DLM Training [56.40248490616793]
  Diffusion Language Models (DLM)は、Auto-Regressive (AR)モデルよりも優れた利点を提供する。 彼らは列車の干渉ミスマッチに悩まされている。 本稿では,模擬復調処理をトレーニングに組み込んだメモリ拡張DLMを提案する。
  論文  参考訳（メタデータ） (2026-03-23T17:39:56Z)
• In-memory Training on Analog Devices with Limited Conductance States via Multi-tile Residual Learning [59.091567092071564]
  インメモリトレーニングは通常、デジタルベースラインに合わせて少なくとも8ビットのコンダクタンス状態を必要とする。 ReRAMのような多くの有望な中間デバイスは、製造制約のため、約4ビットの解像度しか提供しない。 本稿では,残差を補うために複数のクロスバータイルを逐次学習する語彙学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-02T19:44:25Z)
• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAは、整数型低ランクパラメータを持つ量子化拡散モデルを適用し、チューニング中に推論効率を含める。 推論中、IntLoRA重みはPTQなしで直接量子化された下流重みを得るために、シームレスに事前訓練された重みにマージすることができる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• LaMDA: Large Model Fine-Tuning via Spectrally Decomposed Low-Dimensional Adaptation [7.788139145984213]
  低ランク適応(LoRA)は、ファインチューン大言語モデル(LLM)のデフォルトのアプローチとなっている。 我々はスペクトル分解低次元適応(LaMDA)による大型モデル微調整を導入する。 LaMDAはトレーニング可能なパラメータとピークGPUメモリフットプリントを大幅に削減する。
  論文  参考訳（メタデータ） (2024-06-18T17:52:59Z)
• Bulk-Switching Memristor-based Compute-In-Memory Module for Deep Neural Network Training [15.660697326769686]
  本稿では,memristor-based Compute-in-Memory (CIM)モジュールの混合精度トレーニング手法を提案する。 提案方式は、完全に統合されたアナログCIMモジュールとデジタルサブシステムからなるシステムオンチップ(SoC)を用いて実装される。 より大規模なモデルのトレーニングの有効性は、現実的なハードウェアパラメータを用いて評価され、アナログCIMモジュールが、完全精度のソフトウェアトレーニングモデルに匹敵する精度で、効率的な混合精度トレーニングを可能にすることを示す。
  論文  参考訳（メタデータ） (2023-05-23T22:03:08Z)
• AnalogNets: ML-HW Co-Design of Noise-robust TinyML Models and Always-On Analog Compute-in-Memory Accelerator [50.31646817567764]
  本稿では,キーワードスポッティング (KWS) と視覚覚醒語 (VWW) を常用するTinyMLモデルについて述べる。 アナログ非イデオロギーに面した精度を維持するため、包括的学習手法を詳述する。 また、プログラム可能な最小領域位相変化メモリ(PCM)アナログCiMアクセラレータであるAON-CiMについて述べる。
  論文  参考訳（メタデータ） (2021-11-10T10:24:46Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。