論文の概要: DynaTrain: Fast Online Parallelism Switching for Elastic LLM Training

• arxiv url: http://arxiv.org/abs/2605.18815v1
• Date: Tue, 12 May 2026 09:51:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 01:01:02.786846
• Title: DynaTrain: Fast Online Parallelism Switching for Elastic LLM Training
• Title（参考訳）: DynaTrain: 弾力的LLMトレーニングのための高速オンライン並列処理スイッチ
• Authors: Yuanqing Wang, Yuchen Zhang, Hao Lin, Junhao Hu, Chunyang Zhu, Quanlu Zhang, Boxun Li, Guohao Dai, Zhi Yang, Daning Cheng, Yunquan Zhang, Yu Wang,
• Abstract要約: 任意の多次元並列処理を網羅したサブ秒再構成のための分散トレーニングシステムDynaTrainを提案する。 その中核として,1つの論理座標空間の下で全ての分散トレーニング状態を統一する仮想VPS空間の抽象化を提案する。 235Bパラメータの高密度モデルと235Bパラメータのモデルでは、DynaTrainは2s未満の70B密度モデルと4.36sの235BMoEモデルを使用しており、正確性を保ちながら、最先端のチェックポイントベースおよび弾性システムよりも最大3桁の精度で性能を向上している。
• 参考スコア（独自算出の注目度）: 21.939190885925754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern large language model (LLM) training is inherently dynamic: resource fluctuations, RLHF phase shifts, and cluster elasticity continually reshape the optimal parallelism layout, posing a significant challenge to existing training frameworks built around a static execution model. We present DynaTrain, a distributed training system for sub-second, online reconfiguration across arbitrary multi-dimensional parallelism. At its core, we propose a Virtual Parameter Space (VPS) abstraction that unifies all distributed training states under one logical coordinate space, turning any parallelism configuration into a deterministic mapping and collapsing complex transition into manageable geometric intersections. On top of VPS, a state routing-and-transition layer executes rank-local transfers under a memory-aware, deadlock-free schedule, and an Elastic Device Manager overlaps new-world construction with ongoing training to mask topology-change cost. On dense and MoE models up to 235B parameters, DynaTrain reconfigures a 70B dense model in under 2s and a 235B MoE model in 4.36s, outperforming state-of-the-art checkpoint-based and elastic systems by up to three orders of magnitude while preserving correctness.
• Abstract（参考訳）: リソースのゆらぎ、RLHFの位相シフト、クラスタの弾力性は、最適な並列性レイアウトを継続的に作り直します。 本稿では,サブ秒間オンライン再構成のための分散トレーニングシステムDynaTrainについて述べる。 その中心となるのが仮想パラメータ空間(VPS)の抽象化で、全ての分散トレーニング状態を1つの論理座標空間の下に統一し、任意の並列性の構成を決定論的マッピングに変換し、複雑な遷移を管理可能な幾何学的交叉に分解する。 VPSの上には、状態ルーティング・アンド・トランジション層がメモリを意識したデッドロックのないスケジュールの下でローカライズされた転送を実行し、Elastic Device Managerがトポロジ変更コストをマスクするトレーニングを継続して、新世界の構築を重複させる。 235Bパラメータの高密度モデルとMoEモデルでは、DynaTrainは70Bの高密度モデルを2s未満で、235BのMoEモデルを4.36sで再構成し、精度を維持しながら3桁の精度で最先端のチェックポイントベースおよび弾性システムより優れている。

関連論文リスト

• DiRL: An Efficient Post-Training Framework for Diffusion Language Models [54.405206032785706]
  Diffusion Language Models (dLLMs) はAuto-Regressive(AR)モデルに代わる有望な代替品として登場した。 既存の手法は、訓練と推論の間の計算の非効率性と客観的なミスマッチに悩まされている。 我々は,FlexAttention-accelerated blockwise trainingとLMDeploy-timized inferenceを密接に統合した,効率的なポストトレーニングフレームワークであるDiRLを紹介した。
  論文  参考訳（メタデータ） (2025-12-23T08:33:19Z)
• Model Parallelism With Subnetwork Data Parallelism [21.914077370806016]
  大規模な大規模ニューラルネットワークの事前トレーニングは、アクセラレータに大量のメモリ要求を課し、しばしば高価な通信を必要とする。 本稿では,分散トレーニングフレームワークであるSubnetwork Data Parallelism(SDP)を紹介する。 本研究では,不偏勾配を維持するために下位段階のみに空間性を適用した後方マスキングと,前方パスのパラメータを除去してより高効率なゲインを実現する前方マスキングの2つの相補的なマスキング方式について検討する。
  論文  参考訳（メタデータ） (2025-07-11T21:25:11Z)
• Protocol Models: Scaling Decentralized Training with Communication-Efficient Model Parallelism [59.79227116582264]
  モデルスケーリングはディープラーニングの大幅な進歩につながったが、これらのモデルを分散環境でトレーニングすることは依然として難しい。 本研究では,前処理と後処理の両方を圧縮し,最大99%の圧縮が可能となる新しい圧縮アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-02T02:19:22Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• Universal Checkpointing: A Flexible and Efficient Distributed Checkpointing System for Large-Scale DNN Training with Reconfigurable Parallelis [16.04816181826873]
  Universal Checkpointing (UCP)は、ディープニューラルネットワーク(DNN)トレーニングのための新しいチェックポイントシステムである。 UCPは、チェックポイント構造を並列トレーニング戦略とハードウェア構成から分離することで、既存のシステムの課題を克服する。 本稿では,様々な並列化戦略に対するチェックポイント状態の自動マッピングを可能にするパターンベースの再構成パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-27T01:28:30Z)
• ATOM: Asynchronous Training of Massive Models for Deep Learning in a Decentralized Environment [7.916080032572087]
  Atomは、分散化された環境で巨大なモデルの非同期トレーニング用に設計された、レジリエントな分散トレーニングフレームワークである。 atomは、スワップをシームレスにモデルし、トレーニングスループットを最適化するために複数のコピーを同時にトレーニングすることで、1つのホスト(ピア)に完全なLLMを適合させることを目的としている。 異なるGPT-3モデル構成を用いて実験したところ、最適ネットワーク接続のシナリオでは、原子は最先端の分散パイプライン並列化アプローチを組み込んだ場合、トレーニング効率を最大20倍に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T17:43:43Z)
• On Optimizing the Communication of Model Parallelism [74.15423270435949]
  大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。 クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。 本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
  論文  参考訳（メタデータ） (2022-11-10T03:56:48Z)
• Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel Training [23.633810934134065]
  Colossal-AIは、大規模モデルで最大2.76回のトレーニングスピードアップを達成することができる。 システムは、データ、パイプライン、テンソル、シーケンス並列化などの並列トレーニングメソッドをサポートする。
  論文  参考訳（メタデータ） (2021-10-28T04:45:55Z)
• TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models [60.23234205219347]
  TeraPipeは、Transformerベースの言語モデルの同期モデル並列トレーニングのための高性能トークンレベルのパイプライン並列アルゴリズムです。 TeraPipeは、AWSクラスタ上で1750億のパラメータを持つ最大のGPT-3モデルのトレーニングを5.0倍高速化できることを示す。
  論文  参考訳（メタデータ） (2021-02-16T07:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。