論文の概要: Belayer: Efficient Fault Tolerance for LLM Agentic RL Training

• arxiv url: http://arxiv.org/abs/2608.14635v2
• Date: Tue, 18 Aug 2026 03:09:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.927
• Title: Belayer: Efficient Fault Tolerance for LLM Agentic RL Training
• Title（参考訳）: Belayer: LLMエージェントRLトレーニングのための効率的なフォールトトレランス
• Abstract要約: Belayerは大規模言語モデル(LLM)エージェントRLトレーニングのための効率的なフォールトトレラントシステムである。 ロールアウトエンジンと環境実行の両方の障害を処理すると同時に、障害のないオーバーヘッドを目標としている。 環境障害に対して、Belayerは完全なチェックポイントインストールと完全なリストアを導入し、コンテナファイルシステムとステートを共同でキャプチャし、復元する。
• 参考スコア（独自算出の注目度）: 28.236424334567133
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language model (LLM) agents are increasingly trained with reinforcement learning in long-horizon, sandboxed environments. Unlike conventional RL, agentic RL couples GPU-intensive rollout engines with stateful environment containers whose actions may produce visible side effects, such as file edits, command execution, and dependency installation. A single trajectory can span many rounds of gen- eration and environment interaction, so a component failure can discard completed work or expose the model to an environment state that is inconsistent with its context. However, existing systems lack efficient and correct recovery mechanisms for this distributed execution model. This paper presents Belayer, an efficient fault-tolerant system for LLM agentic RL training. Belayer handles failures in both rollout engines and environment execution while targeting low failure-free overhead. For scoped worker-local rollout failures, Belayer equips each pre-initialized shadow worker with a selective GPU-state reuse protocol that retains independently owned weights and raw KV-arena allocations after owner and GPU health checks, reinitializes worker-local state, and rebuilds request-specific KV contents from logged token prefixes. For environment failures, Belayer introduces full checkpoint and full restore to jointly capture and restore container file-system and runtime state, and coordinates the recovered environment with the LLM context to preserve prefix consistency. An adaptive policy opportunistically overlaps full-state checkpointing with natural LLM inference bubbles when the predicted interval is long enough. Empirical results show low measured overhead during failure-free training, a worker-recovery-time reduction of up to 42 times faster compared with a full engine cold start, and 1.5 to 3.5 times faster recovery from environment failures.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、長い水平なサンドボックス環境下で強化学習でますます訓練されている。 従来のRLとは異なり、エージェントRLはGPU集約的なロールアウトエンジンとステートフルな環境コンテナを結合する。 単一の軌道は、多くのジェネレーションと環境相互作用のラウンドにまたがる可能性があるため、コンポーネントの障害は完了した作業を捨てたり、そのコンテキストと矛盾する環境状態にモデルを公開したりすることができる。 しかし、既存のシステムは、この分散実行モデルに対して効率的で正確なリカバリメカニズムを欠いている。 本稿では, LLMエージェントRLトレーニングのための効率的な耐故障性システムであるBelayerについて述べる。 Belayerはロールアウトエンジンと環境実行の両方の障害を処理し、障害のないオーバーヘッドをターゲットとしている。 スコープ化されたワーカローカルロールアウト障害に対して、Belayerは、それぞれが事前に初期化されたシャドウワーカーに、所有者とGPUヘルスチェック後の独立して所有するウェイトと生のKV-アリーナアロケーションを保持する選択的なGPU-ステート再利用プロトコルを装備し、ワーカーローカルステートを再起動し、ログ化されたトークンプレフィックスからリクエスト固有のKVコンテンツを再構築する。 環境障害に対して、Belayerはコンテナファイルシステムとランタイム状態を共同でキャプチャし、復元するための完全なチェックポイントと完全なリストアを導入し、回復した環境をLLMコンテキストと調整してプレフィックス一貫性を維持する。 適応ポリシは、予測間隔が十分に長い場合に、フルステートチェックポイントと自然LLM推論バブルとを同時に重畳する。 実験の結果, 故障のないトレーニングにおけるオーバーヘッドの低減, フルエンジンのコールドスタートの最大42倍の時間短縮, 環境障害からの回復の1.5～3.5倍の時間短縮が得られた。

関連論文リスト

• MCP-Universe RL: A Framework for Training MCP Tool-Use Agents via Reinforcement Learning [54.082979654934]
  強化学習(RL)は,大規模言語モデル(LLM)のツール利用能力向上に有効な方法となっている。 既存のRLフレームワークのほとんどは、ポリシー更新で停止する。 オープンソースフレームワークであるMCP-Universe RL(MCP-U RL)について述べる。
  論文  参考訳（メタデータ） (2026-08-23T01:49:04Z)
• REPREC: Representation Driven Parameter-Efficient Recommendation System [2.7992557071345305]
  大規模言語モデル(LLM)は、自然言語タスクとして定式化することで、シーケンシャルなレコメンデーションに適用されている。 従来の作業は、入力条件付けやLLMファインチューニングを通じて、協調的およびシーケンシャルな信号を統合することでパーソナライズを改善した。 本稿では,軽量なユーザ表現アライメントアライメントを通じてLLMベースのシーケンシャルレコメンデーションを再構築する軽量フレームワークであるREPRECを提案する。
  論文  参考訳（メタデータ） (2026-07-24T22:45:33Z)
• PlexRL: Cluster-Level Orchestration of Serviceized LLM Execution for RLVR [33.08614139144317]
  RLVRジョブ間で統一LLMサービスを多重化するクラスタレベルのランタイムPlexRLを提案する。 PlexRLはクラスタの有効容量を大幅に向上し,ユーザGPUの時間コストを最大37.58%削減することを示す。
  論文  参考訳（メタデータ） (2026-05-20T07:55:06Z)
• EnvFactory: Scaling Tool-Use Agents via Executable Environments Synthesis and Robust RL [54.09410318521061]
  本稿では,エージェント強化学習(Agentic RL)トレーニングのための完全に自動化されたフレームワークであるEnvFactoryを紹介する。 EnvFactoryは、認証リソースから自律的に、ステートフルで実行可能なツール環境を探索する。 トポロジーを意識したサンプリングとキャリブレーションによる自然なマルチターン軌道を合成する。 トレーニング効率とダウンストリーム性能が向上し、BFCLv3ではQwen3シリーズモデルを最大15%改善し、MPP-Atlasでは+8.6%、VitaBenchでは+6%向上した。
  論文  参考訳（メタデータ） (2026-05-18T17:37:40Z)
• ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload [18.933354857797056]
  大規模GPUクラスタ上での大規模言語モデルの事前トレーニングは、ハードウェア障害を稀ではなく日常的なものにしている。 一つの不変量を保持するレジリエントな事前学習システムであるReCoVerを提案する。 チェックポイントとリスタートのベースラインと比較して、ReCoVerは連続する障害の後、より効果的なスループットを2.23タイムで示す。
  論文  参考訳（メタデータ） (2026-05-11T20:28:31Z)
• Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
  ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。 各リリースは、公開ワークフロー要求信号から構築される。 Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
  論文  参考訳（メタデータ） (2026-04-30T17:23:19Z)
• TermiGen: High-Fidelity Environment and Robust Trajectory Synthesis for Terminal Agents [70.68963723787424]
  TermiGenは検証可能な環境とレジリエントな専門家軌道を合成するためのエンドツーエンドパイプラインである。 TermiGen-Qwen2.5-Coder-32B は TerminalBench 上で 31.3% のパスレートを達成した。
  論文  参考訳（メタデータ） (2026-02-06T23:56:50Z)
• ELLA: Efficient Lifelong Learning for Adapters in Large Language Models [12.489255789379817]
  大規模言語モデル(LLM)は、連続的な学習環境において、新しいタスクに逐次適応する際、深刻な破滅的な忘れを被る。 本稿では,選択部分空間デコリレーションの原理に基づくトレーニングフレームワークであるELLAを紹介する。 ELLAは、過去の更新の構造を明示的に特徴づけ、高エネルギーでタスク固有の方向に沿ってアライメントを罰する。 3つの人気のあるベンチマークで最先端のCL性能を達成し、相対的精度は9.6%、メモリフットプリントは35倍になる。
  論文  参考訳（メタデータ） (2026-01-05T15:58:08Z)
• MACE: A Hybrid LLM Serving System with Colocated SLO-aware Continuous Retraining Alignment [14.392166280035122]
  エッジサーバにデプロイされる大規模言語モデル(LLM)は、パーソナライズされたアシスタント、レコメンデーション、コンテンツモデレーションといった遅延に敏感なアプリケーションでますます利用されている。 既存のリトレーニング戦略は、モデル更新の遅延、再トレーニングのための過剰コミットリソース、イテレーションレベルのリトレーニングの粒度を見落としている。 我々は,同時推論(プリフィル,デコード)と微調整を同時に行うハイブリッドLLMシステムであるMACEを提案し,知的メモリ管理により,推論スループットを約束しながらタスク性能を最大化する。
  論文  参考訳（メタデータ） (2025-09-28T18:45:28Z)
• Reinforcement Learning for Machine Learning Engineering Agents [52.03168614623642]
  強化学習によって改善される弱いモデルによって支援されるエージェントは、はるかに大きいが静的モデルによって支援されるエージェントよりも優れていることを示す。 分散非同期RLフレームワークにおいて,高コストかつ高利回りな動作を増幅するための時間依存性の勾配更新を提案する。 また,早期に失敗するプログラムとほぼ正しくないプログラムを区別し,部分クレジットを提供する環境機器を提案する。
  論文  参考訳（メタデータ） (2025-09-01T18:04:10Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。