論文の概要: SCAPE: Accurate and Efficient LLM Training with Extreme Sparse Communication

• arxiv url: http://arxiv.org/abs/2607.01678v1
• Date: Thu, 02 Jul 2026 04:10:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.657542
• Title: SCAPE: Accurate and Efficient LLM Training with Extreme Sparse Communication
• Title（参考訳）: SCAPE: エクストリームスパース通信を用いた高精度かつ効率的なLLMトレーニング
• Abstract要約: コミュニケーションは、大規模言語モデルの事前学習のコストを支配している。 SCAPEはAdamSの最初のモーメントの安定性を利用して、LCMの品質を損なうことなくアグレッシブなスパシフィケーションを可能にする。 Llama-500Mの場合、SCAPEは密度の高いAdamSに比べて1ステップあたり3.26$timesのスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 11.486783488577915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Communication increasingly dominates the cost of Large Language Model (LLM) pre-training, especially under data-parallel and sharded training schemes, where gradient synchronization and parameter reconstruction overhead increase with model size and system scale. Existing communication-reduction methods either sparsify raw gradients, which can be unstable for modern Adam-style optimizers at high sparsity, or quantize communication, whose savings are fundamentally bounded by bit width and often incur additional runtime overhead. We present SCAPE, a communication-efficient distributed optimizer for LLM training that exploits the stability of AdamS's first-moment to enable aggressive sparsification without loss of LLM quality. Instead of constructing masks from raw gradients, SCAPE derives them from first-moment-based statistics, partitions mask generation across workers to align with optimizer sharding, and delays mask usage by one step so that mask synchronization can overlap with computation. SCAPE also reconstructs the quantities required for second-moment updates from a single synchronized sparse buffer, avoiding an additional collective. We implement SCAPE in Megatron-LM and evaluate its convergence by pre-training GPT-345M on OpenWebText and Llama-500M on SlimPajama-6B using 32 NVIDIA GH200 GPUs on TACC Vista. In both models, SCAPE preserves training stability, validation loss, and downstream task accuracy under 90\% and 99\% sparsity. For Llama-500M, SCAPE reduces end-to-end pre-training wall-clock time by up to 43.3\% while maintaining model quality comparable to dense AdamW and AdamS. For Llama-1.8B, SCAPE achieves up to 3.26$\times$ speedup per step compared to dense AdamS.
• Abstract（参考訳）: 通信は大規模言語モデル(LLM)の事前トレーニングのコスト、特にデータ並列およびシャードトレーニングスキームにおいて、モデルサイズとシステムスケールによって勾配同期とパラメータ再構成オーバーヘッドが増加する傾向にある。 既存の通信減算法は、現在のアダムスタイルのオプティマイザに高い間隔で不安定な生勾配をスパシフィケートするか、あるいは通信を量子化するかのいずれかであり、その節約は基本的にビット幅で束縛され、しばしば追加のランタイムオーバーヘッドを発生させる。 我々は,AdamS の第1モーメントの安定性を利用して,LLM 品質を損なうことなく,攻撃的なスペーサー化を可能にする通信効率のよい LLM トレーニング用分散最適化器 SCAPE を提案する。 SCAPEは、マスクを生の勾配から構築する代わりに、最初のモーメントベースの統計から、労働者間でマスク生成を分割してオプティマイザシャーディングと整合させ、マスク同期が計算と重なるようにマスクの使用を1ステップで遅らせる。 SCAPEはまた、単一の同期スパースバッファから2番目のモーメント更新に必要な量を再構築し、追加の集合を避ける。 We implement SCAPE in Megatron-LM and its convergeence by Pre-training GPT-345M on OpenWebText and Llama-500M on SlimPajama-6B using 32 NVIDIA GH200 GPU on TACC Vista。 どちらのモデルでも、SCAPEはトレーニングの安定性、検証損失、下流タスクの精度を90%と99の間隔で保持する。 Llama-500Mの場合、SCAPEは密集したAdamWやAdamSに匹敵するモデル品質を維持しながら、エンドツーエンドのウォールクロック時間を最大43.3\%削減する。 Llama-1.8Bの場合、SCAPEは密度の高いAdamSに比べて1ステップあたり3.26$\times$スピードアップに達する。

関連論文リスト

• Scaling State-Space Models on Multiple GPUs with Tensor Parallelism [0.24148976266903474]
  選択状態空間モデル(SSM)は、大規模言語モデルにとって急速に魅力的なバックボーンとなっている。 しかし、デプロイメントでは、その推論性能は単一のGPUのメモリ容量、帯域幅、レイテンシ制限によって制限されることが多い。 本稿では,3つの実践的技術的課題に対処する,選択的SSM推論のための通信効率のよいTP設計法を提案する。
  論文  参考訳（メタデータ） (2026-02-24T17:47:54Z)
• From $O(mn)$ to $O(r^2)$: Two-Sided Low-Rank Communication for Adam in Distributed Training with Memory Efficiency [28.885724420612323]
  我々は,Adamファミリー更新(TSR-Adam)における双方向低ランク通信を実現するTSRを提案する。 サブスペースリフレッシュからのピーク通信をさらに削減するため、TSR-AdamはSVDベースのリフレッシュを採用した。 TSR-Adamは60Mから1Bのモデルスケールで事前トレーニングを行い、ステップ毎の平均通信バイトを13倍に削減し、GLUEの微調整では通信を25倍に削減し、同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-08T15:23:09Z)
• MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
  MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。 我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。 1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
  論文  参考訳（メタデータ） (2025-11-17T06:17:08Z)
• MT-DAO: Multi-Timescale Distributed Adaptive Optimizers with Local Updates [24.81282608003312]
  分散データ並列性を備えた大規模モデルのトレーニングには、労働者間の勾配の頻繁な通信が必要である。 頻繁な通信戦略(例えばローカルSGD)は、このオーバーヘッドを減少させるが、完全な同期DDPと比較してパフォーマンスのギャップを被ることが多い。 MT-DAOは,低速かつ高速に動く第1モータや,異なる時間スケールでの更新ダイナミクスを追従する勾配系である。
  論文  参考訳（メタデータ） (2025-10-06T20:37:57Z)
• How to Train Your LLM Web Agent: A Statistical Diagnosis [96.86317871461834]
  LLMウェブエージェントのポストトレーニングにおける計算割当に関する統計学的基礎研究について述べる。 提案手法では,Llama 3.1 8Bの学生を対象に,教師付き微調整(SFT)とオンライン強化学習を用いて,Llama 3.3 70Bの教師を模倣する2段階のパイプラインを用いた。 以上の結果から,SFTとオンラインRLの組み合わせは,WorkArenaとMiniWob++のいずれにおいても,単独でのアプローチよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-07-05T17:12:33Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression [7.6131620435684875]
  SLIMは新しいワンショット圧縮フレームワークで、ハードウェアフレンドリーな量子化、スパーシティ、低ランク近似を統合する。 SLIMはモデル精度を最大5.66%(LLaMA-2-7B)まで改善し、4ビットの重み量子化で2:4の間隔で計算し、従来の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-12T18:36:07Z)
• Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
  本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。 この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
  論文  参考訳（メタデータ） (2024-08-26T17:03:14Z)
• Pluto and Charon: A Time and Memory Efficient Collaborative Edge AI Framework for Personal LLMs Fine-Tuning [13.26886445965894]
  Pluto and Charon(PAC)は、個人用LLMの微調整のための、時間とメモリ効率のよい協調エッジAIフレームワークである。 PACは、パラメータ、時間、メモリの点で効率的なパーソナルLLMの微調整技術を実装している。 プロトタイプ実装に基づく大規模な評価は、PACが最先端のアプローチを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-20T11:30:12Z)
• Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [90.08459757321405]
  Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。 我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。 我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:56:49Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Learning to Efficiently Sample from Diffusion Probabilistic Models [49.58748345998702]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる。 我々は,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T17:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。