Fugu-MT 論文翻訳(概要): Memory-Efficient LLM Training with Dynamic Sparsity: From Stability to Practical Scaling

論文の概要: Memory-Efficient LLM Training with Dynamic Sparsity: From Stability to Practical Scaling

arxiv url: http://arxiv.org/abs/2606.00888v1
Date: Sat, 30 May 2026 20:47:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-02 21:34:28.959416
Title: Memory-Efficient LLM Training with Dynamic Sparsity: From Stability to Practical Scaling
Title（参考訳）: 動的疎水性によるメモリ効率の良いLLMトレーニング:安定性から実践的スケーリング
Abstract要約: ダイナミックスパーストレーニング(DST)は、ディープニューラルネットワークのトレーニングと推論効率を改善するための有望なパラダイムを提供する。大規模な言語モデルトレーニングでは、DSTは最適化の不安定性に悩まされ、トポロジ更新後に損失が急増する。本稿では、DSTをウォームアップで安定化し、密度認識学習率のスケーリングによるトレーニングの進捗を改善するSparse Memory-Efficient Training (SMET)を提案する。
参考スコア（独自算出の注目度）: 38.73262288439019
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Dynamic Sparse Training (DST) offers a promising paradigm for improving the training and inference efficiency of deep neural networks; however, we find that in large language model training, DST can suffer from optimization instability, manifested as loss spikes after topology updates. In this work, we show that the naive use of standard Adam-based optimizers leads to a cold-start issue for newly regrown parameters, resulting in excessively large updates and disrupted training dynamics. To address this issue, we propose Sparse Memory-Efficient Training (SMET), which stabilizes DST with optimizer warm-up and improves training progress through density-aware learning-rate scaling. SMET further reduces memory consumption by storing gradients and optimizer states only for active parameters. We provide a theoretical analysis of the update behaviors under SMET, showing improved optimization stability. Extensive experiments demonstrate that SMET enables stable, scalable, and memory-efficient sparse pre-training of LLMs, paving the way for sparse training as a practical alternative to dense training. Our code is publicly available at: https://github.com/QiaoXiao7282/SMET.
Abstract（参考訳）: 動的スパーストレーニング(DST)は、ディープニューラルネットワークのトレーニングと推論効率を改善するための有望なパラダイムを提供するが、大規模言語モデルトレーニングでは、DSTはトポロジー更新後の損失スパイクとして現れる最適化不安定性に悩まされる可能性がある。本研究では,標準のAdamをベースとしたオプティマイザを用いることで,新たなパラメータのコールドスタート問題が発生し,過度に大きな更新が行われ,トレーニングのダイナミクスが破壊されることを示す。この問題に対処するために,DSTをオプティマイザウォームアップで安定化するSparse Memory-Efficient Training (SMET)を提案する。 SMETはさらに、勾配を保存し、アクティブパラメータのみを最適化することで、メモリ消費を減らす。 SMETにおける更新動作の理論的解析を行い,最適化安定性の向上を示す。広範囲にわたる実験により、SMETはLSMの安定的でスケーラブルでメモリ効率のよいスパース事前訓練を可能にし、より密なトレーニングの代替手段としてスパーストレーニングの道を開いた。私たちのコードは、https://github.com/QiaoXiao7282/SMETで公開されています。

関連論文リスト

SparseOpt: Addressing Normalization-induced Gradient Skew in Sparse Training [30.444606429625377]
動的スパーストレーニング(DST)手法は、ネットワークトポロジを動的に適応しながら、疎性を維持してニューラルネットワークを訓練する。本稿では, Batch Normalization (BN) がスパーストレーニングに悪影響を及ぼし, SparseOpt を提案する。
論文参考訳（メタデータ） (2026-05-26T18:14:19Z)
Beyond Freezing: Sparse Tuning Enhances Plasticity in Continual Learning with Pre-Trained Models [10.904981532789824]
事前訓練されたモデルによる継続的な学習は、シーケンシャルなタスクにまたがる効率的な適応を大いに約束する。既存のアプローチはPTMを凍結し、プロンプトやアダプタのような補助モジュールに依存している。 MIST(Mutual Information-Guided Sparse Tuning)は,PTMパラメータのサブセットを選択的に更新するプラグイン・アンド・プレイ方式である。
論文参考訳（メタデータ） (2025-05-26T13:09:25Z)
SubTrack++ : Gradient Subspace Tracking for Scalable LLM Training [4.804685266333252]
大規模言語モデル(LLM)のトレーニングは、大量のパラメータと状態のオーバーヘッドのため、リソース集約性が高い。本稿では,Grassmann的部分空間追跡とプロジェクション対応勾配を併用したSubTrack++を提案する。提案手法はグラスマン幾何学を利用してSOTAの収束を実証し,既存のSOTA法と比較して,事前学習壁時間を最大65%,微調整時間を36%削減する。
論文参考訳（メタデータ） (2025-02-03T18:13:52Z)
SPAM: Spike-Aware Adam with Momentum Reset for Stable LLM Training [60.9776082805359]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示しているが、そのトレーニングは、非常にリソース集約的で、トレーニングの不安定性に影響を受けやすいままである。本稿では,LLMトレーニング中に観測された勾配スパイクを包括的に調査し,複数のアーキテクチャやデータセットにまたがる傾向を明らかにする。本稿では,モーメントムリセットを用いたスパイク・アウェア・アダムを提案し,モーメントムリセットとスパイク・アウェア・クリッピングによる勾配スパイク対策について述べる。
論文参考訳（メタデータ） (2025-01-12T15:21:22Z)
Sparse Spectral Training and Inference on Euclidean and Hyperbolic Neural Networks [9.96381061452642]
Low-Rank Adaptation (LoRA) と ReLoRA は低ランク構造で課題に直面している。予備学習におけるメモリ使用量の最適化を目的としたスパーススペクトルトレーニング(SST)を提案する。 SSTは、他の低ランクメソッドとフルランクトレーニングの間の難易度ギャップを97.4%削減する。
論文参考訳（メタデータ） (2024-05-24T11:59:41Z)
AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文参考訳（メタデータ） (2023-10-16T09:04:28Z)
Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文参考訳（メタデータ） (2022-04-02T09:50:19Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Dynamic Scale Training for Object Detection [111.33112051962514]
本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
論文参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。