論文の概要: ReFlow: Replay-Driven Decoupling for Efficient RL Post-Training

• arxiv url: http://arxiv.org/abs/2610.21640v1
• Date: Thu, 15 Oct 2026 10:21:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.0237
• Title: ReFlow: Replay-Driven Decoupling for Efficient RL Post-Training
• Title（参考訳）: ReFlow: 効率的なRLポストトレーニングのためのリプレイ駆動のデカップリング
• Abstract要約: ReFlowは、効率的なLLMポストトレーニングのためのシステム指向のRLフレームワークである。 最先端の同期および非同期RLシステム上でのトレーニングスループットを最大2.06ドルまで改善する。
• 参考スコア（独自算出の注目度）: 19.87602453303641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has been a critical paradigm for improving large language model (LLM) reasoning and agentic capabilities, but its efficiency remains a major bottleneck. Existing RL systems commonly rely on asynchronous execution to overlap rollout generation with policy optimization for enhanced efficiency. However, this approach faces inherent limitations: mild policy staleness offers only limited training efficiency gains, whereas aggressive asynchrony can degrade model quality and yields diminishing efficiency gains. The dynamic nature of LLM RL and multi-turn agentic workloads further challenges RL system design, as resource demands shift over time, making static resource allocation and generation strategy inefficient. This paper presents ReFlow, a system-algorithm co-designed RL framework for efficient LLM post-training. Its key insight is that, unlike existing RL frameworks which consume each trajectory only once, experience replay of recent trajectories enables effective sample reuse, thereby amortizing the high cost of rollout generation without incurring excessive policy staleness. To fully exploit this opportunity, ReFlow adopts a decoupled and adaptive architecture with three key designs: a dual replay data cycle supports efficient experience reuse while balancing training throughput and optimization stability; an elastic resource pool enables dynamic resource placement to accommodate evolving RL workloads; an adaptive scheduler coordinates generation strategies and resource allocation to improve resource utilization and boost generation throughput. Experiments across representative single-turn reasoning and multi-turn agentic RL tasks show that ReFlow improves training throughput by up to $2.06\times$ over state-of-the-art synchronous and asynchronous RL systems, while maintaining comparable or better model performance.
• Abstract（参考訳）: 強化学習(RL)は、大規模言語モデル(LLM)推論とエージェント能力を改善するための重要なパラダイムであるが、その効率は依然として大きなボトルネックとなっている。 既存のRLシステムは、効率を向上させるためにポリシー最適化とロールアウト生成を重複させるために、一般的に非同期実行に依存している。 しかし、このアプローチには固有の制限がある: 軽度ポリシーの安定化は訓練効率の利得に制限を与えるが、攻撃的非同期はモデル品質を低下させ、効率の利得を低下させる。 LLM RLとマルチターンエージェントワークロードの動的性質は、リソース要求が時間とともに変化し、静的なリソース割り当てと生成戦略が非効率になるため、RLシステム設計にさらに挑戦する。 本稿では,効率的なLLM後学習のためのシステムアルゴリズムRLフレームワークであるReFlowについて述べる。 その重要な洞察は、各軌道を1回だけ消費する既存のRLフレームワークとは異なり、最近の軌道を経験的に再現することで、効果的なサンプル再利用が可能であり、過剰なポリシーの安定化を招くことなく、ロールアウト生成のコストを下げることができるということである。 この機会を完全に活用するために、ReFlowでは、分離された適応型アーキテクチャを3つの重要な設計で採用している。2つのリプレイデータサイクルは、トレーニングスループットと最適化安定性のバランスを保ちながら、効率的なエクスペリエンスの再利用をサポートする。 典型的なシングルターン推論とマルチターンエージェントRLタスクによる実験によると、ReFlowは、同等またはより良いモデルパフォーマンスを維持しながら、最先端の同期および非同期RLシステムのトレーニングスループットを最大2.06\times$で改善している。

関連論文リスト

• Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning [47.00572734047258]
  本稿では,非同期RLの安定性と非政治的課題に対処するため,単一ロールアウト非同期最適化(SAO)を提案する。 SAOはグループワイドサンプリングを単一ロールアウトサンプリングに置き換える。 SAOは、オープンなGLM-5.2モデルをトレーニングするために、エージェントRLパイプラインにうまくデプロイされる。
  論文  参考訳（メタデータ） (2026-07-08T15:02:19Z)
• ARL-Tangram: Unleash the Resource Efficiency in Agentic Reinforcement Learning [15.912431502064678]
  ARL-Tangramは、きめ細かい外部リソース共有と弾力性を実現する統一されたリソース管理システムである。 ARL-Tangramは平均ACTを最大4.3$times$で改善し、RLトレーニングのステップ期間を1.5$times$で高速化し、外部リソースを最大71.2$%$で節約する。
  論文  参考訳（メタデータ） (2026-03-13T14:25:20Z)
• RLBoost: Harvesting Preemptible Resources for Cost-Efficient Reinforcement Learning on LLMs [48.94639777633359]
  RLBoostは、プリエンプティブルGPUリソースを抽出するコスト効率のよいRLトレーニングのための体系的なソリューションである。 RLBoostはトレーニングのスループットを1.51x-1.97x向上し、オンデマンドGPUリソースのみを使用する場合に比べてコスト効率は28%-49%向上した。
  論文  参考訳（メタデータ） (2025-10-22T04:19:37Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [65.14124923451077]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。