論文の概要: ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload

• arxiv url: http://arxiv.org/abs/2605.11215v1
• Date: Mon, 11 May 2026 20:28:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.412272
• Title: ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload
• Title（参考訳）: ReCoVer:フォールトトレラント・コレクターおよびバーサタイル・ワークロードによる耐障害性LLMプレトレーニングシステム
• Authors: Ziyue Liu, Zhengyang Wang, Ruijie Zhang, Avinash Maurya, Hui Zhou, Paul Hovland, Sheng Di, Franck Cappello, Bogdan Nicolae, Zheng Zhang,
• Abstract要約: 大規模GPUクラスタ上での大規模言語モデルの事前トレーニングは、ハードウェア障害を稀ではなく日常的なものにしている。 一つの不変量を保持するレジリエントな事前学習システムであるReCoVerを提案する。 チェックポイントとリスタートのベースラインと比較して、ReCoVerは連続する障害の後、より効果的なスループットを2.23タイムで示す。
• 参考スコア（独自算出の注目度）: 18.933354857797056
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pre-training large language models on massive GPU clusters has made hardware faults routine rather than rare, driving the need for resilient training systems. Yet existing frameworks either focus on specific parallelism schemes or risk drifting away from a failure-free training trajectory. We propose ReCoVer, a resilient LLM pre-training system that upholds a single invariant: each iteration keeps the number of microbatches constant, ensuring per-iteration gradients remain stochastically equivalent to a failure-free run. The framework is organized as three decoupled protocol layers: (1) Fault-tolerant collectives that isolate faults from propagating across replicas; (2) in-step fine-grained recovery that preserves intra-iteration progress and prevents gradient corruption; (3) versatile-workload policy that dynamically redistributes microbatch quotas across the survivors. The design is parallelism-agnostic, integrating directly with both 3D parallelism and Hybrid Sharded Data Parallel (HSDP) as a drop-in substrate. We evaluate our implementation on end-to-end pre-training tasks for up to 512 GPUs, ReCoVer successfully preserves the training trajectory from a failure-free reference despite of 256 GPUs lost spread across the run. For comparison with checkpoint-and-restart baselines, ReCoVer demonstrates $2.23\times$ higher effective throughput after successive failures. This advantage results in ReCoVer processing 74.9% more tokens at 234 GPU-hours, with the gap widening as the training prolongs.
• Abstract（参考訳）: 大規模GPUクラスタ上での大規模言語モデルの事前トレーニングにより、ハードウェア障害は稀ではなく日常的に発生し、レジリエントなトレーニングシステムの必要性が増している。 しかし、既存のフレームワークは、特定の並列性スキームに焦点を当てるか、障害のないトレーニングの軌道から逸脱するリスクを負う。 ReCoVerは、単一不変性を保ち、各イテレーションがマイクロバッチの数を一定に保ち、各イテレーションの勾配が障害のない実行と確率論的に等価であることを保証する、回復性のあるLCM事前トレーニングシステムである。 フレームワークは3つの分離されたプロトコルレイヤで構成されている。(1)障害を分離してレプリカ間を伝播しないようにするフォールトトレラントな集合体、(2)イテレーションの進行を保ち、グラデーションの腐敗を防ぐステップ内きめ細かなリカバリ、(3)生存者間のマイクロバッチクォータを動的に再分配する多目的ワークロードポリシーである。 この設計は並列性に依存しないものであり、3次元並列性とハイブリッドシャードデータ並列(HSDP)をドロップイン基板として直接統合する。 最大512個のGPUを対象としたエンドツーエンドの事前トレーニングタスクの実装を評価し,256個のGPUが動作中に失われているにもかかわらず,ReCoVerは障害のない参照からトレーニング軌道をうまく維持する。 チェックポイント・アンド・リスタートベースラインと比較して、ReCoVerは連続した障害後に2.23\times$高効率のスループットを示す。 この利点により、ReCoVerは234GPU時間で74.9%以上のトークンを処理し、トレーニングが長くなるにつれてギャップが広がる。

関連論文リスト

• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Training LLMs with Fault Tolerant HSDP on 100,000 GPUs [9.97532556913539]
  同期トレーニングは、頻繁な障害と長い回復時間により、効率が低下する。 我々は、FT-HSDP(Fault Tolerant Hybrid-Shared Data Parallelism)を提案する。 FT-HSDPはフォールトトレランスの単位としてデータ並列レプリカを使用する。
  論文  参考訳（メタデータ） (2026-01-30T19:57:36Z)
• AReaL-Hex: Accommodating Asynchronous RL Training over Heterogeneous GPUs [24.96730768606278]
  異種対応非同期RLトレーニングシステムであるAReaL-Hexを提案する。 ヘテロジニアスGPU上でロールアウト生成とポリシモデルのトレーニングを実行する方法を、効果的にスケジュールする。 最大1.50倍のトレーニングスループットと1.46倍のトレーニングコストの削減を提供する。
  論文  参考訳（メタデータ） (2025-11-02T04:17:30Z)
• DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
  並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。 動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。 我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
  論文  参考訳（メタデータ） (2025-10-09T17:24:54Z)
• AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning [23.24949857136035]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練において支配的なパラダイムとなっている。 本稿では,完全非同期RLシステムであるAReaLについて述べる。
  論文  参考訳（メタデータ） (2025-05-30T07:18:25Z)
• Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
  継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。 本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。 モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• ReCycle: Resilient Training of Large DNNs using Pipeline Adaptation [2.0181279529015925]
  ReCycleは、障害発生時の効率的なトレーニング用に設計されたシステムである。 分散トレーニングシステムに固有の機能的冗長性を活用する。 複数の障害で高いトレーニングスループットを実現していることを示す。
  論文  参考訳（メタデータ） (2024-05-22T21:35:56Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。