論文の概要: AdaFRUGAL: Adaptive Memory-Efficient Training with Dynamic Control

• arxiv url: http://arxiv.org/abs/2601.11568v1
• Date: Sat, 27 Dec 2025 14:11:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.761565
• Title: AdaFRUGAL: Adaptive Memory-Efficient Training with Dynamic Control
• Title（参考訳）: AdaFRUGAL:動的制御による適応型メモリ効率トレーニング
• Authors: Quang-Hung Bui, Anh Son Ta,
• Abstract要約: 大規模言語モデル(LLM)のトレーニングは、状態オーバーヘッドのため、メモリ集約性が高い。 AdaFRUGALは2つの動的制御を導入している: (i) メモリを徐々に削減するために$$の線形減衰、(ii) 計算オーバーヘッドを減らすために$T$の損失認識スケジュール。 また、AdamWや静的FRUGALと競合する性能を維持しつつ、GPUメモリとトレーニング時間を著しく削減している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Large Language Models (LLMs) is highly memory-intensive due to optimizer state overhead. The FRUGAL framework mitigates this with gradient splitting, but its static hyperparameters -- the subspace ratio ($ρ$) and update frequency ($T$) -- require costly manual tuning, limiting adaptability. We present AdaFRUGAL, which automates this process by introducing two dynamic controls: (i) a linear decay for $ρ$ to progressively reduce memory, and (ii) a loss-aware schedule for $T$ to lower computational overhead. Experiments across large-scale pre-training (English C4, Vietnamese VietVault) and fine-tuning (GLUE) demonstrate that AdaFRUGAL achieves a compelling trade-off. It maintains competitive performance against AdamW and static FRUGAL while significantly reducing both GPU memory and training time, offering a more practical, autonomous solution for resource-constrained LLM training.
• Abstract（参考訳）: 大規模言語モデル(LLM)のトレーニングは、最適化状態のオーバーヘッドのため、メモリ集約性が高い。 FRUGALフレームワークはこれを勾配分割で緩和するが、その静的ハイパーパラメーター(サブスペース比(ρ$)と更新周波数(T$))は、手作業によるチューニングを犠牲にし、適応性を制限する必要がある。 AdaFRUGALは,2つの動的制御を導入することで,このプロセスを自動化します。 i) メモリを漸進的に減少させる$ρ$の線形減衰と (ii)計算オーバーヘッドを減らすために$T$のロス対応スケジュール。 大規模な事前訓練(C4、ベトナムのVietVault)と微調整(GLUE)による実験は、AdaFRUGALが魅力的なトレードオフを達成していることを示している。 また、AdamWや静的FRUGALと競合する性能を維持しつつ、GPUメモリとトレーニング時間を大幅に削減し、リソース制約付きLLMトレーニングのためのより実用的で自律的なソリューションを提供する。

関連論文リスト

• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• DAF: An Efficient End-to-End Dynamic Activation Framework for on-Device DNN Training [41.09085549544767]
  システムレベルの最適化を通じて、スケーラブルで効率的なデバイス上でのトレーニングを可能にする動的アクティベーションフレームワーク(DAF)を導入する。 DAFは、主要なシステムのボトルネックに対処することで、メモリと時間効率の動的量子化トレーニングを実現する。 組み込みプラットフォームとモバイルプラットフォームにわたるさまざまなディープラーニングモデルの評価によると、メモリ使用量の削減に22.9倍、スピードアップに32倍の3.2倍となる。
  論文  参考訳（メタデータ） (2025-07-09T08:59:30Z)
• MLorc: Momentum Low-rank Compression for Memory Efficient Large Language Model Adaptation [24.943207005554246]
  我々は、モメンタム低ランク圧縮(MLorc)と呼ばれるメモリ効率の訓練パラダイムを提案する。 MLorcの鍵となる考え方は、トレーニング中に行列パラメータのモーメントを圧縮して再構成し、メモリ消費を減らすことである。
  論文  参考訳（メタデータ） (2025-06-02T17:21:10Z)
• CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation [19.447967755388092]
  我々は,計算効率の高いオートエンコーダを用いて,CoLAとそのメモリ効率の高い実装であるCoLA-Mを提案する。 6000万から70億のパラメータを持つLLaMAモデルに対する実験は、CoLAが計算コストを$bf 2pmbtimes$.bf 2pmbtimes$.comに削減したことを示している。 CoLA-Mはスループットを犠牲にすることなくメモリコストをさらに削減し、全体として優れたパラメータ、計算、メモリ効率を備えた事前学習アプローチを提供する。
  論文  参考訳（メタデータ） (2025-02-16T01:05:16Z)
• Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
  継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。 本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。 モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training [51.39495282347475]
  我々は、新しいメモリ効率最適化フレームワークであるtextbfF$ull-$textbfR$ank $textbfU$pdates with $textbfG$r$textbfA$dient sp$textbfL$ittingを紹介します。 当社のフレームワークは,GaLoreやBAdamなど,さまざまな低ランク更新選択技術と統合することが可能です。
  論文  参考訳（メタデータ） (2024-11-12T14:41:07Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• CoMERA: Computing- and Memory-Efficient Training via Rank-Adaptive Tensor Optimization [9.826264204082095]
  LLMやDLRMといった大規模なAIモデルのトレーニングには、膨大なGPUと計算時間を要する。 CoMERAは、多目的最適化の定式化により、ランク適応テンソル圧縮(pre)訓練を実現する。 CoMERAは、トレーニングのエポック1回あたり2ドル、メモリ効率がGaLoreよりも高い9ドルだ。
  論文  参考訳（メタデータ） (2024-05-23T09:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。