論文の概要: LazyTrain: Limited-resource Allocation toward Zero-waste Yield Optimization in Large Language Model Training
- arxiv url: http://arxiv.org/abs/2608.11919v1
- Date: Wed, 12 Aug 2026 11:04:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.559103
- Title: LazyTrain: Limited-resource Allocation toward Zero-waste Yield Optimization in Large Language Model Training
- Title（参考訳）: LazyTrain: 大規模言語モデルトレーニングにおけるゼロワースト収率最適化に向けた限られたリソース割り当て
- Abstract要約: 限られたハードウェア上での大規模言語モデルのトレーニングは、ますますスケジューリングの問題になっている。
本稿では,レイヤストリーミングエグゼキュータ上の最適化レイヤであるLazyTrainを提案する。
- 参考スコア（独自算出の注目度）: 28.882595607766916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training large language models on limited hardware is increasingly a scheduling problem across GPU compute, host memory, PCIe transfer, and storage bandwidth. Existing offloading systems reduce GPU residency, and MegaTrain shows that a CPU-master layer-streaming executor can train large models on a single GPU, but fixed checkpointing and placement heuristics still leave communication exposed on the critical path. We propose LazyTrain, an optimization layer over a layer-streaming executor. LazyTrain formulates checkpoint selection, activation placement, recomputation, and CPU-GPU-NVMe communication overlap as a mixed-integer scheduling problem, then executes the solved policy during training. It further couples 8-bit optimizer states with fast gradient clipping as a single Hybrid 8-bit operator: state compression reduces optimizer-state memory, while fast clipping counteracts the additional CPU-side update overhead. Across H800 experiments from Qwen2.5-3B to Qwen3.6-27B, LazyTrain improves sustained TFLOPS over matched baselines runs by approximately 1.24$\times$; RTX 3090 experiments likewise increase the maximum feasible batch size by one at each model scale. In the primary Qwen3.6-27B H800 MetaMathQA run, LazyTrain reaches 219.95 TFLOPS and 1361 tokens/s at batch size 72, peaks at 68.84\,GB of GPU memory, and obtains 95.42\% exact-match accuracy on the full evaluation split. The source code is available at https://github.com/DataArcTech/LazyTrain.
- Abstract（参考訳）: 限られたハードウェア上での大規模言語モデルのトレーニングは、GPU計算、ホストメモリ、PCIe転送、ストレージ帯域幅のスケジューリングの問題が増えている。
既存のオフロードシステムはGPU常駐を減らし、MegaTrain氏はCPUマスタ層ストリーミングエグゼキュータが1つのGPUで大きなモデルをトレーニングできることを示した。
本稿では,レイヤストリーミングエグゼキュータ上の最適化レイヤであるLazyTrainを提案する。
LazyTrainは、チェックポイントの選択、アクティベーション配置、再計算、CPU-GPU-NVMe通信の重複を混合整数スケジューリング問題として定式化し、トレーニング中に解決されたポリシーを実行する。
さらに、8ビットのオプティマイザ状態と高速勾配クリッピングを単一のハイブリッド8ビット演算子として結合する:状態圧縮はオプティマイザ状態のメモリを削減し、高速クリッピングは追加のCPU側の更新オーバーヘッドに対処する。
Qwen2.5-3B から Qwen3.6-27B までの H800 実験で、LazyTrain は一致したベースライン上での持続 TFLOPS を約 1.24$\times$ で改善した。
Qwen3.6-27B H800 MetaMathQA では、LazyTrain はバッチサイズ72で 219.95 TFLOPS と 1361 トークン/s に達し、ピーク時には 68.84\,GB のGPUメモリとなり、完全な評価スプリットで 95.42\% の精度が得られる。
ソースコードはhttps://github.com/DataArcTech/LazyTrainで入手できる。
関連論文リスト
- Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。
さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
論文 参考訳（メタデータ） (2026-07-02T08:06:57Z) - ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning [58.54940026861599]
textscChunkFTはメモリ効率の良い微調整フレームワークである。
textscChunkFTは、ネットワークアーキテクチャを変更することなく任意のサブテンソルの勾配計算を可能にする。
textscChunkFTは、既存のメモリ効率のベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-20T13:44:44Z) - Efficient Training on Multiple Consumer GPUs with RoundPipe [6.9987546217738945]
コンシューマグレードのGPU上での微調整大型言語モデルは、コスト効率が高いが、限られたGPUメモリと遅いPCIeインターコネクトによって制限されている。
本稿では,コンシューマGPUサーバの重み付け制約を破る新たなパイプラインスケジュールであるRoundPipeを提案する。
RoundPipeは1.7Bから32Bモデルに微調整した場合、最先端のベースラインよりも1.48--2.16$times$のスピードアップを実現している。
論文 参考訳（メタデータ） (2026-04-29T18:26:13Z) - MegaTrain: Full Precision Training of 100B+ Parameter Large Language Models on a Single GPU [25.228229453758132]
MegaTrainはメモリ中心のシステムで、1つのGPU上で100B以上のパラメータ大言語モデルを効率的にトレーニングする。
従来のGPU中心のシステムとは異なり、MegaTrainはパラメータと状態をホストメモリ(CPUメモリ)に格納し、GPUを過渡計算エンジンとして扱う。
論文 参考訳（メタデータ） (2026-04-06T18:43:56Z) - LLMQ: Efficient Lower-Precision Pretraining for Consumer GPUs [45.51664355320938]
本稿では,コモディティGPU上での3Bから32Bパラメータなど,中規模の言語モデルトレーニングのためのエンドツーエンド/C++実装を提案する。
これは、標準的な8ビットトレーニングパイプラインを実行し、追加のアルゴリズム近似なしで実行し、FLOP使用率を約50%維持する。
論文 参考訳（メタデータ） (2025-12-17T10:51:45Z) - OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。
プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。
我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
論文 参考訳（メタデータ） (2025-08-11T20:07:34Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳（メタデータ） (2024-05-28T22:19:30Z) - Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters [5.190794062263327]
大規模言語モデル(LLM)の訓練は、膨大な計算能力とメモリ容量の要求のために困難であることが知られている。
本稿では,実世界のクラスタを対象としたLLM自動微粒化トレーニングであるPipetteを提案する。
論文 参考訳（メタデータ） (2024-05-28T11:59:44Z) - GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。
本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。
私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
論文 参考訳（メタデータ） (2024-03-06T07:29:57Z) - Cramming: Training a Language Model on a Single GPU in One Day [64.18297923419627]
言語モデリングの最近のトレンドは、スケーリングによるパフォーマンス向上に焦点を当てている。
我々は,1つのコンシューマGPU上で1日間,マスク付き言語モデルを用いてゼロから完全に訓練されたトランスフォーマーベース言語モデルで達成可能なダウンストリーム性能について検討した。
この制約された設定であっても、大規模設定で観測されるスケーリングの法則に密接に従う性能を示す。
論文 参考訳（メタデータ） (2022-12-28T18:59:28Z) - Layered gradient accumulation and modular pipeline parallelism: fast and
efficient training of large language models [0.0]
分散トレーニングのさまざまな構成について、可能な限り最短のトレーニング時間を分析します。
本稿では,最短トレーニング時間を半減する2つの新しい手法,テキスト層勾配蓄積法とテキストモジュールパイプライン並列化法を提案する。
論文 参考訳（メタデータ） (2021-06-04T19:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。