論文の概要: AdaPM: a Partial Momentum Algorithm for LLM Training

• arxiv url: http://arxiv.org/abs/2510.09103v1
• Date: Fri, 10 Oct 2025 07:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:48.396031
• Title: AdaPM: a Partial Momentum Algorithm for LLM Training
• Title（参考訳）: AdaPM: LLMトレーニングのための部分モーメントアルゴリズム
• Authors: Yimu Zhang, Yuanshi Liu, Cong Fang,
• Abstract要約: 本稿では,部分運動量を利用してメモリ効率を向上させる適応学習戦略であるAdaPMを提案する。 提案手法は,効率と性能を両立させながら,メモリ容量を90%以上削減できることを確認した。 AdaPMは、二階統計学上のメモリ効率の手法を組み合わせることで、最大95%のメモリを削減できる。
• 参考スコア（独自算出の注目度）: 5.714687763779647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the training of large language models, momentum is widely used and often demonstrated to achieve significant acceleration. However, storing momentum typically presents memory challenges. In this paper, we propose AdaPM, an adaptive training strategy that leverages partial momentum to implement a memory-efficient optimizer. To this end, AdaPM utilizes a non-uniform momentum design: for most blocks, full momentum is not necessary to preserve the performance of the optimization. In the momentum design of AdaPM, to mitigate the bias and performance loss caused by partial momentum, we enhance the partial momentum by a bias correction technique. Empirically, we verify that our approach reduces memory by over $90\%$ in momentum while maintaining both efficiency and performance for pretraining various language models ranging from 60M to 1.5B, as well as for supervised fine-tuning and RLHF. AdaPM can further reduce memory by up to $95\%$ in optimizer states by combining the memory-efficient technique on the second-order statistic, saving over $30\%$ GPU hours for pretraining GPT-2 1.5B.
• Abstract（参考訳）: 大規模言語モデルの訓練において、運動量は広く使われ、しばしば大きな加速を達成するために示される。 しかし、記憶モーメントは典型的には記憶障害を引き起こす。 本稿では,部分運動量を利用してメモリ効率を最適化する適応学習手法であるAdaPMを提案する。 この目的のために、AdaPMは非一様運動量設計を利用する:ほとんどのブロックでは、最適化の性能を維持するために完全な運動量を必要としない。 AdaPMの運動量設計において、部分運動量による偏りと性能損失を軽減するため、偏り補正法により偏り運動量を高める。 実験により,60Mから1.5Bまでの各種言語モデルの事前学習と教師付き微調整とRLHFのための効率と性能を両立させながら,メモリを90 %以上削減できることを確認した。 AdaPMは、2次統計値上のメモリ効率のテクニックを組み合わせて、GPT-2 1.5Bの事前トレーニングに30\%以上のGPU時間を節約することで、最大9,5\%のオプティマイザ状態のメモリ削減を可能にする。

関連論文リスト

• Low-rank Momentum Factorization for Memory Efficient Training [13.464518325870444]
  Momentum Factorized (MoFaSGD) は、1次運動量の動的に更新された低ランクSVD表現を維持している。 大規模な言語モデルベンチマークにおけるMoFaSGDの有効性を実証し、メモリ削減(例えばLoRA)と性能の競合的なトレードオフを実現する。
  論文  参考訳（メタデータ） (2025-07-10T18:04:52Z)
• A Minimalist Optimizer Design for LLM Pretraining [31.996047271119156]
  大規模言語モデルのトレーニングは通常、Adamのような適応型に依存します。 GaLore FiraやAPOLLOといった最近の研究は、メモリ消費を減らすために、状態圧縮型を提案した。 本研究では,LLMプレトレーニングにおける最先端性能を維持するために本当に必要となる,最小限の状態量について検討する。
  論文  参考訳（メタデータ） (2025-06-20T00:10:35Z)
• SPAM: Spike-Aware Adam with Momentum Reset for Stable LLM Training [60.9776082805359]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示しているが、そのトレーニングは、非常にリソース集約的で、トレーニングの不安定性に影響を受けやすいままである。 本稿では,LLMトレーニング中に観測された勾配スパイクを包括的に調査し,複数のアーキテクチャやデータセットにまたがる傾向を明らかにする。 本稿では,モーメントムリセットを用いたスパイク・アウェア・アダムを提案し,モーメントムリセットとスパイク・アウェア・クリッピングによる勾配スパイク対策について述べる。
  論文  参考訳（メタデータ） (2025-01-12T15:21:22Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)
• End-to-End Temporal Action Detection with 1B Parameters Across 1000 Frames [55.72994484532856]
  時間的行動検出(TAD)は、エンドツーエンドのトレーニングで大幅に改善された。 メモリボトルネックのため、限られたスケールと限られたデータ量を持つモデルだけがエンドツーエンドのトレーニングを受けることができる。 エンド・ツー・エンドトレーニングのメモリ消費を削減し,10億のパラメータと入力映像を1,536フレームにスケールアップする。
  論文  参考訳（メタデータ） (2023-11-28T21:31:04Z)
• CAME: Confidence-guided Adaptive Memory Efficient Optimization [20.009302737137787]
  適応勾配法は大規模言語モデルの訓練において優れた性能を示した。 二次モーメント推定の維持には、メモリオーバーヘッドの増大を高いコストで維持する必要がある。 補助メモリ使用量の大幅な削減を実現するために、いくつかのメモリ効率が提案されているが、性能上のペナルティがある。 我々は,従来の適応手法のように高速収束,メモリ効率の低い2つの目標を同時に達成するために,CAMEを提案する。
  論文  参考訳（メタデータ） (2023-07-05T06:05:36Z)
• Scalable Optimal Margin Distribution Machine [50.281535710689795]
  ODM(Optimal margin Distribution Machine)は、新しいマージン理論に根ざした新しい統計学習フレームワークである。 本稿では,従来のODMトレーニング手法に比べて10倍近い高速化を実現するスケーラブルなODMを提案する。
  論文  参考訳（メタデータ） (2023-05-08T16:34:04Z)
• Improving compute efficacy frontiers with SliceOut [31.864949424541344]
  SliceOut - 最終テスト精度に影響を与えることなく、ディープラーニングモデルを高速にトレーニングするためのドロップアウトインスパイアされたスキームだ。 テスト時に、SliceOutをオフにすると、テストの正確性を保持する一連のアーキテクチャに暗黙のアンサンブルが実行される。 これにより、大規模な計算ワークロード全体の処理が高速化され、結果として生じるエネルギー消費とCO2エミッションが大幅に削減される。
  論文  参考訳（メタデータ） (2020-07-21T15:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。