論文の概要: Role-Based Fault Tolerance System for LLM RL Post-Training

• arxiv url: http://arxiv.org/abs/2512.22492v1
• Date: Sat, 27 Dec 2025 06:30:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.084857
• Title: Role-Based Fault Tolerance System for LLM RL Post-Training
• Title（参考訳）: LLM後試験におけるロールベース耐故障性システム
• Authors: Zhenqian Chen, Baoquan Zhong, Xiang Li, Qing Dai, Xinkui Zhao, Miao Ye, Ren Cheng, Lufei Zhang, Jianwei Yin,
• Abstract要約: トレーニング後のRLはトレーニングと推論のワークロードをインターリーブし、システムを両側の障害に晒す。 私たちの重要な洞察は、ロールベースの障害分離です。 本稿では,RL後トレーニング時間比改善のためのGPUマシンエラーを処理する,初の総合的ロバストシステムであるRobustRLを提案する。
• 参考スコア（独自算出の注目度）: 24.163081819380647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RL post-training for LLMs has been widely scaled to enhance reasoning and tool-using capabilities. However, RL post-training interleaves training and inference workloads, exposing the system to faults from both sides. Existing fault tolerance frameworks for LLMs target either training or inference, leaving the optimization potential in the asynchronous execution unexplored for RL. Our key insight is role-based fault isolation so the failure in one machine does not affect the others. We treat trainer, rollout, and other management roles in RL training as distinct distributed sub-tasks. Instead of restarting the entire RL task in ByteRobust, we recover only the failed role and reconnect it to living ones, thereby eliminating the full-restart overhead including rollout replay and initialization delay. We present RobustRL, the first comprehensive robust system to handle GPU machine errors for RL post-training Effective Training Time Ratio improvement. (1) \textit{Detect}. We implement role-aware monitoring to distinguish actual failures from role-specific behaviors to avoid the false positive and delayed detection. (2) \textit{Restart}. For trainers, we implement a non-disruptive recovery where rollouts persist state and continue trajectory generation, while the trainer is rapidly restored via rollout warm standbys. For rollout, we perform isolated machine replacement without interrupting the RL task. (3) \textit{Reconnect}. We replace static collective communication with dynamic, UCX-based (Unified Communication X) point-to-point communication, enabling immediate weight synchronization between recovered roles. In an RL training task on a 256-GPU cluster with Qwen3-8B-Math workload under 10\% failure injection frequency, RobustRL can achieve an ETTR of over 80\% compared with the 60\% in ByteRobust and achieves 8.4\%-17.4\% faster in end-to-end training time.
• Abstract（参考訳）: LLMのRLポストトレーニングは、推論とツール使用能力を高めるために広く拡張されている。 しかしながら、RL後のトレーニングでは、トレーニングと推論のワークロードがインターリーブされ、システムが両側の障害に晒される。 LLMの既存のフォールトトレランスフレームワークは、トレーニングまたは推論のいずれかをターゲットにしており、RLのために探索されていない非同期実行における最適化の可能性を残している。 私たちの重要な洞察は、ロールベースの障害分離です。 我々は、RLトレーニングにおけるトレーナー、ロールアウト、その他のマネジメントの役割を、個別の分散サブタスクとして扱う。 ByteRobustでRLタスク全体を再起動する代わりに、失敗したロールのみをリカバリしてリカバリして、ロールアウトリプレイや初期化遅延を含むフルリスタートオーバーヘッドを排除します。 本稿では,RL後トレーニング時間比の改善のために,GPUマシンエラーを処理する最初の総合的ロバストシステムであるRobustRLを提案する。 1) \textit{Detect}。 我々は、誤検出や遅延検出を避けるために、実際の障害とロール固有の行動とを区別するためにロールアウェアモニタリングを実装した。 (2) \textit{Restart}。 トレーナーに対しては、ロールアウト状態が持続し、軌道生成が継続する非破壊的リカバリを実装し、一方、トレーナーはロールアウトウォームスタンバイを介して迅速にリカバリされる。 ロールアウトでは、RLタスクを中断することなく、分離されたマシン置換を実行する。 (3) \textit{Reconnect}。 静的な集団通信をUCXベース(Unified Communication X)のポイント・ツー・ポイント通信に置き換えることで、復元された役割間の即時重み同期を実現する。 Qwen3-8B-Mathワークロードを10\%の障害インジェクション周波数で256GPUクラスタ上のRLトレーニングタスクにおいて、RobostRLはByteRobustの60\%と比較して80\%以上のETTRを達成でき、エンドツーエンドのトレーニング時間で8.4\%-17.4\%高速化できる。

関連論文リスト

• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models [73.10315509190623]
  最近の強化学習技術は、言語モデルにおいて顕著な推論改善をもたらした。 ポストトレーニングが、事前トレーニング中に取得したものを超えて、モデルの推論能力を真に拡張するかどうかは不明だ。 プレトレーニング,ミッドトレーニング,およびRLベースのポストトレーニングの因果的貢献を分離する,完全に制御された実験フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-08T18:12:10Z)
• Seer: Online Context Learning for Fast Synchronous LLM Reinforcement Learning [6.742598086990326]
  強化学習(RL)は、現代の大規模言語モデル(LLM)の進展に欠かせないものとなっているが、既存の同期RLシステムは、重大なパフォーマンスボトルネックに直面している。 従来見過ごされていた出力長と生成パターンの類似性を利用して,同じプロンプトを共有することで,これらの課題に対処する新しいオンラインコンテキスト学習システムであるSeerを提案する。 Seer氏は、動的ロードバランシングのための分割ロールアウト、コンテキスト対応スケジューリング、適応的なグループ化された投機的デコーディングの3つの主要なテクニックを紹介している。
  論文  参考訳（メタデータ） (2025-11-18T16:12:21Z)
• RLBoost: Harvesting Preemptible Resources for Cost-Efficient Reinforcement Learning on LLMs [48.94639777633359]
  RLBoostは、プリエンプティブルGPUリソースを抽出するコスト効率のよいRLトレーニングのための体系的なソリューションである。 RLBoostはトレーニングのスループットを1.51x-1.97x向上し、オンデマンドGPUリソースのみを使用する場合に比べてコスト効率は28%-49%向上した。
  論文  参考訳（メタデータ） (2025-10-22T04:19:37Z)
• History Rhymes: Accelerating LLM Reinforcement Learning with RhymeRL [14.506189610798929]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の推論能力を高めるための重要な方法論として登場した。 RhymeRLは、RLトレーニングを2つの重要なイノベーションで加速するLLM RLシステムである。 まず、ロールアウト生成を強化するために、投機的復号推論エンジンであるHistoSpecを紹介する。 第二に、ロールアウトバブルに取り組むために、2層スケジューリング戦略であるHistoPipeを紹介します。
  論文  参考訳（メタデータ） (2025-08-26T01:42:46Z)
• AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning [23.24949857136035]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練において支配的なパラダイムとなっている。 本稿では,完全非同期RLシステムであるAReaLについて述べる。
  論文  参考訳（メタデータ） (2025-05-30T07:18:25Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。