論文の概要: AdamPM: Memory-Efficient LLM Optimization via Moment Pooling

• arxiv url: http://arxiv.org/abs/2610.24598v1
• Date: Sat, 17 Oct 2026 10:04:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 17:30:08.928422
• Title: AdamPM: Memory-Efficient LLM Optimization via Moment Pooling
• Title（参考訳）: AdamPM: モーメントプーリングによるメモリ効率の良いLLM最適化
• Abstract要約: アダムは大きな言語モデル(LLM)の訓練に広く使われている。 我々は、列や列次元に沿って隣接モーメントエントリをグループ化するAdamのメモリ効率のよいAdamPMを提案する。 グループサイズが$s$の場合、AdamPMは第2モーメントメモリを元の要件の1/s$に削減する。
• 参考スコア（独自算出の注目度）: 10.308213661707681
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adam is widely used for training large language models (LLMs) owing to its strong optimization performance and training stability, but its element-wise estimation for the first and second moments incur substantial memory overhead. Although numerous memory-efficient optimizers have been proposed, many incur additional computational overhead or require additional tuning of hyperparameters. Consequently, Adam remains a dominant and reliable choice for LLM pre-training. We propose AdamPM (Adam with Pooled Moments), a simple and memory-efficient variant of Adam that groups adjacent moment entries along the row or column dimension and represents each group by a single shared mean. AdamPM can well inherit Adam's hyperparameter settings and is readily integrated into existing Adam optimizer implementations, with less memory overhead. We systematically investigate pooling of both first and second moment estimates and identify second moment pooling as the effective design. With a group size of $s$, AdamPM reduces second moment memory to $1/s$ of the original requirement. Extensive experiments on language model pretraining, fine-tuning and multimodal learning demonstrate that AdamPM maintains model performance and training speed while substantially reducing optimizer-state memory. Our code is available at \url{https://github.com/jixiaowei95/AdamPM}.
• Abstract（参考訳）: Adamは、強力な最適化性能とトレーニング安定性のため、大きな言語モデル(LLM)のトレーニングに広く使用されているが、第1モーメントと第2モーメントの要素的推定は、かなりのメモリオーバーヘッドを引き起こす。 メモリ効率の良いオプティマイザが多数提案されているが、計算オーバーヘッドが増大したり、ハイパーパラメータの調整が必要になったりしている。 その結果、アダムはLLM事前訓練において支配的かつ信頼性の高い選択である。 我々はAdamPM(Adam with Pooled Moments)を提案する。Adamの単純かつメモリ効率のよい変種で、隣り合うモーメントエントリを行や列の次元に沿ってグループ化し、各グループを1つの共有平均で表現する。 AdamPMはAdamのハイパーパラメータ設定をうまく継承することができ、メモリオーバーヘッドが少なく、既存のAdamオプティマイザ実装に簡単に統合できる。 我々は,第1モーメント推定と第2モーメント推定の両方のプーリングを系統的に検討し,第2モーメントプーリングを有効設計として同定する。 グループサイズが$s$の場合、AdamPMは第2モーメントメモリを元の要件の1/s$に削減する。 言語モデルの事前学習、微調整、マルチモーダル学習に関する大規模な実験は、AdamPMがモデル性能とトレーニング速度を維持しつつ、オプティマイザ・ステートメモリを大幅に削減していることを示している。 我々のコードは \url{https://github.com/jixiaowei95/AdamPM} で入手できる。

関連論文リスト

• AdamS: Momentum Itself Can Be A Normalizer for LLM Pretraining and Post-training [22.58304858379219]
  我々は,大規模言語モデル(LLM)の事前学習とポストトレーニングのための,Adamの簡易かつ効果的な代替手段であるAdamSを紹介した。 新たな分母、すなわち運動量と現在の勾配の重み付き和の根を利用することにより、AdamSは第二モーメント推定の必要性を排除している。 AdamSは効率が良く、SGDのメモリと計算フットプリントと運動量とを一致させ、優れた最適化性能を提供する。
  論文  参考訳（メタデータ） (2025-05-22T08:16:48Z)
• When Can You Get Away with Low Memory Adam? [48.30892531847662]
  我々は、$textitSlimAdam$がAdamのパフォーマンスと安定性にマッチし、合計2回目で98%のコストを節約できることを示します。 code for $textitSlimAdam$はhttps://github.com/dayal-kalra/low-Memory-adamで入手できる。
  論文  参考訳（メタデータ） (2025-03-03T18:59:40Z)
• APOLLO: SGD-like Memory, AdamW-level Performance [61.53444035835778]
  大規模言語モデル(LLM)は、トレーニング中にメモリ集約的であることで知られている。 メモリ使用量を減らすために、様々なメモリ効率のScalが提案されている。 i)コストのかかるSVDオペレーション、(ii)AdamWと比較して大きなパフォーマンストレードオフ、(iii)競争性能を維持する上でのメモリオーバーヘッド、などです。
  論文  参考訳（メタデータ） (2024-12-06T18:55:34Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。