論文の概要: Reducing GPU Memory Fragmentation via Spatio-Temporal Planning for Efficient Large-Scale Model Training

• arxiv url: http://arxiv.org/abs/2507.16274v1
• Date: Tue, 22 Jul 2025 06:39:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.993203
• Title: Reducing GPU Memory Fragmentation via Spatio-Temporal Planning for Efficient Large-Scale Model Training
• Title（参考訳）: 高速大規模モデルトレーニングのための時空間計画によるGPUメモリフラグメンテーションの削減
• Authors: Zixiao Huang, Junhao Hu, Hao Lin, Chunyang Zhu, Yueran Tang, Quanlu Zhang, Zhen Guo, Zhenhua Li, Shengen Yan, Zhenhua Zhu, Guohao Dai, Yu Wang,
• Abstract要約: 本稿では,ディープラーニングフレームワークのためのGPUメモリアレータSTWeaverを紹介し,メモリ割り当て動作の時間的規則性を利用してフラグメンテーションを低減する。 プラグPyTorchとして開発されたSTWeaverは、密度とスパースモデルの両方で平均79.2%(最大100%)のフラグメンテーション比を、無視できるオーバーヘッドで減少させる。
• 参考スコア（独自算出の注目度）: 9.775731832789116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid scaling of large language models (LLMs) has significantly increased GPU memory pressure, which is further aggravated by training optimization techniques such as virtual pipeline and recomputation that disrupt tensor lifespans and introduce considerable memory fragmentation. Default GPU memory allocators of popular deep learning frameworks like PyTorch use online strategies without knowledge of tensor lifespans, which can waste up to 43\% of memory and cause out-of-memory errors, rendering optimization techniques ineffective or even unusable. To address this, we introduce STWeaver, a GPU memory allocator for deep learning frameworks that reduces fragmentation by exploiting the spatial and temporal regularity in memory allocation behaviors of training workloads. STWeaver introduces a novel paradigm that combines offline planning with online allocation. The offline planning leverages spatio-temporal regularities to generate a near-optimal allocation plan, while the online allocation handles complex and dynamic models such as Mixture-of-Experts (MoE). Built as a pluggable PyTorch allocator, STWeaver reduces fragmentation ratio on average by 79.2\% (up to 100\%) across both dense and sparse models, with negligible overhead. This enables more efficient, high-throughput training configurations and improves performance by up to 32.5\%.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急激なスケーリングによりGPUメモリの圧力が大幅に増加し、仮想パイプラインや再計算などのトレーニング最適化技術により、テンソル寿命を乱し、メモリのフラグメンテーションが大幅に向上した。 PyTorchのような一般的なディープラーニングフレームワークのデフォルトのGPUメモリアロケータは、テンソル寿命の知識のないオンライン戦略を使用する。 そこで本研究では,ディープラーニングフレームワークのためのGPUメモリアロケータSTWeaverを紹介する。 STWeaverは、オフライン計画とオンラインアロケーションを組み合わせた新しいパラダイムを導入している。 オフラインプランニングは時空間規則を利用してほぼ最適の割り当て計画を生成する一方、オンラインアロケーションはMixture-of-Experts (MoE)のような複雑で動的なモデルを扱う。 STWeaverはプラグ可能なPyTorchアロケータとして構築され、密度とスパースモデルの両方で平均79.2\%(最大100\%)のフラグメンテーション比を無視できるオーバーヘッドで減少させる。 これにより、より効率的で高スループットのトレーニング設定が可能になり、最大32.5\%のパフォーマンスが向上する。

関連論文リスト

• Dynamic Gradient Sparse Update for Edge Training [0.0502254944841629]
  トレーニングにおけるバックプロパゲーションの勾配計算は、中間機能と計算損失を格納するために、大きなメモリバッファを必要とする。 これはマイクロコントローラのようなメモリ制限されたエッジデバイスでは受け入れられない。 本稿では,メモリ使用量を削減するために動的勾配スパース更新を用いたトレーニングアクセラレーション手法を提案する。
  論文  参考訳（メタデータ） (2025-03-23T06:32:12Z)
• Memory-Efficient Training for Deep Speaker Embedding Learning in Speaker Verification [50.596077598766975]
  資源制約のあるシナリオにおける深層話者埋め込み学習のためのメモリ効率のトレーニング戦略について検討する。 アクティベーションのために、中間アクティベーションを格納する必要がない2種類の可逆ニューラルネットワークを設計する。 状態に対して、元の32ビット浮動小数点値を動的ツリーベースの8ビットデータ型に置き換える動的量子化手法を導入する。
  論文  参考訳（メタデータ） (2024-12-02T06:57:46Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
  LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。 本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。 私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
  論文  参考訳（メタデータ） (2024-03-06T07:29:57Z)
• ROAM: memory-efficient large DNN training via optimized operator ordering and memory layout [8.99065455675796]
  本稿では,演算子順序とテンソルメモリレイアウトを最適化したメモリ効率の高い実行計画の導出のために,グラフレベルで動作するROAMを提案する。 実験の結果、ROAMはPytorchと2つの最先端手法と比較して35.7%、13.3%、27.2%の大幅なメモリ削減を実現し、53.7倍の高速化を実現している。
  論文  参考訳（メタデータ） (2023-10-30T06:29:21Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• Layered gradient accumulation and modular pipeline parallelism: fast and efficient training of large language models [0.0]
  分散トレーニングのさまざまな構成について、可能な限り最短のトレーニング時間を分析します。 本稿では,最短トレーニング時間を半減する2つの新しい手法,テキスト層勾配蓄積法とテキストモジュールパイプライン並列化法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T19:21:49Z)
• Revisiting Locally Supervised Learning: an Alternative to End-to-end Training [36.43515074019875]
  そこで我々は,情報伝達(InfoPro)損失を提案する。ローカルモジュールが可能な限り有用な情報を保存することを奨励する。 E2E トレーニングと比較して,InfoPro は 40% 未満のメモリフットプリントで競合性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T15:02:18Z)
• Improving compute efficacy frontiers with SliceOut [31.864949424541344]
  SliceOut - 最終テスト精度に影響を与えることなく、ディープラーニングモデルを高速にトレーニングするためのドロップアウトインスパイアされたスキームだ。 テスト時に、SliceOutをオフにすると、テストの正確性を保持する一連のアーキテクチャに暗黙のアンサンブルが実行される。 これにより、大規模な計算ワークロード全体の処理が高速化され、結果として生じるエネルギー消費とCO2エミッションが大幅に削減される。
  論文  参考訳（メタデータ） (2020-07-21T15:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。