論文の概要: Scheduling Mixed RL Rollouts Beyond Prefix Locality

• arxiv url: http://arxiv.org/abs/2608.11152v1
• Date: Tue, 11 Aug 2026 17:10:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.130845
• Title: Scheduling Mixed RL Rollouts Beyond Prefix Locality
• Title（参考訳）: RLの混成ロールアウトのスケジューリング
• Abstract要約: MISA-T(MISA-T)について述べる。 MISA-Tはキャッシュ対応のvLLMルータのロールアウトスループットを,それぞれ53.3%,43.6%向上した。 また、消費されるワークロードをトレーナーの目標に近づけ、同等のタスクスコアを達成しながら、平均時間を22.8%短縮する。
• 参考スコア（独自算出の注目度）: 36.380117619423416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern reinforcement learning (RL) post-training pipelines for large language models (LLMs) increasingly combine rollout workloads across multiple domains and feedback paradigms. Prefix-aware routing improves inference efficiency through cache reuse and load balancing, but it does not control how heterogeneous rollout sessions compete for KV-cache capacity. When reinforcement learning with verifiable rewards (RLVR), reinforcement learning from human feedback (RLHF), and agentic rollouts share an asynchronous inference service, their distinct sequence structures, interaction patterns, and KV-residency times create substantially different serving demands. Rollout scheduling must account for this heterogeneity without distorting the workload mixture specified by the trainer. We present MISA-T, a routing-layer admission policy for mixed rollout serving. MISA-T combines adaptive session admission, workload-aware KV-capacity allocation, and residency-time-aware KV accounting. In rollout-only ablations on Step3.7 and Qwen3.6-35B-A3B, MISA-T improves rollout throughput over a sweep-tuned cache-aware vLLM Router by 53.3% and 43.6%, respectively, while maintaining high prefix-cache hit rates. In a matched 50-iteration Step3.7 experiment, it increases rollout throughput by 35.6% and reduces mean iteration time by 22.8%, while keeping the consumed workload mixture close to the trainer target and achieving comparable task scores.
• Abstract（参考訳）: 大規模言語モデル(LLM)のための現代の強化学習(RL)ポストトレーニングパイプラインは、複数のドメインにわたるロールアウトワークロードとフィードバックパラダイムを組み合わせたものになっている。 Prefix-awareルーティングはキャッシュの再利用とロードバランシングを通じて推論効率を改善するが、KVキャッシュのキャパシティとの不均一なロールアウトセッションがどのように競合するかを制御することはできない。 検証可能な報酬(RLVR)による強化学習、人間からのフィードバックからの強化学習(RLHF)、エージェントロールアウトは非同期推論サービスを共有する。 ロールアウトスケジューリングは、トレーナーが指定したワークロードの混合を歪ませることなく、この不均一性を考慮しなければならない。 MISA-T(MISA-T)について述べる。 MISA-Tは、適応セッションの受付、ワークロード対応KVキャパシティ割り当て、常駐時間対応KV会計を組み合わせる。 Step3.7とQwen3.6-35B-A3Bのロールアウトのみの短縮では、MISA-Tはスイープチューニングされたキャッシュ対応のvLLMルータのロールアウトスループットを53.3%と43.6%改善し、プレフィックスキャッシュヒット率を維持している。 マッチした50項目のStep3.7実験では、ロールアウトスループットを35.6%向上し、平均イテレーション時間を22.8%削減し、使用したワークロードをトレーナーターゲットに近づけ、同等のタスクスコアを達成する。

関連論文リスト

• TideRL: Boosting Agentic RL Goodput with Readiness-Aware Scheduling [23.31709047414638]
  大規模言語モデルのための強化学習(RL)は、マルチターンエージェントワークロードに向かっている。 この設定では、トレーニングスループットによって測定されるRLトレーニングの成果は、生のGPU占有よりも重要である。 本稿では,連続的タスク・アクター・パイプライニングと弾性資源スケーリングを備えたレジーネス対応弾性RLシステムであるTideRLについて述べる。
  論文  参考訳（メタデータ） (2026-08-11T02:49:33Z)
• CacheRL:Multi-Turn Tool-Calling Agents via Cached Rollouts and Hybrid Reward [17.939095034578035]
  CacheRLは、小さなエージェント基盤モデルをトレーニングするシステムである。 マルチステップのツールコールタスクでは,92%のプロセス精度を実現している。 GPT-5の94%に近づき、100倍の計算量を必要とする。
  論文  参考訳（メタデータ） (2026-06-12T07:01:50Z)
• SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data [49.370849653460716]
  本稿では,アクタに整列したオフポリシー評価信号を用いたSOPEを,自動早期停止機構として提案する。 Minariベンチマークスイートから25の継続的制御タスクを評価した。 SOPEはベースライン性能を最大45.6%改善し、必要なTFLOPを最大22倍改善した。
  論文  参考訳（メタデータ） (2026-05-07T08:32:09Z)
• QaRL: Rollout-Aligned Quantization-Aware RL for Fast and Stable Training under Training--Inference Mismatch [33.82215097004296]
  本稿では,QaRL(Rollout Alignment Quantization-Aware RL)を提案する。 数学問題に対するQwen3-30B-A3B MoEでは、QaRLは量子化されたロールアウトトレーニングを+5.5で上回り、安定性を改善し、低ビットスループットの利点を保っている。
  論文  参考訳（メタデータ） (2026-04-09T06:11:46Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Training Large Reasoning Models Efficiently via Progressive Thought Encoding [63.254758972725654]
  大規模推論モデル(LRM)は複雑な問題に優れるが、効率にとって重要な障壁に直面している。 本稿では,パラメータ効率のよい微調整手法であるProgressive Thoughtを紹介する。
  論文  参考訳（メタデータ） (2026-02-18T20:03:38Z)
• Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards [69.74686029941881]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善するための効果的なパラダイムである。 トレーニングを通して高価値ロールアウトを適応的に選択する統合型ニューラルネットワークスケジューリングフレームワークを提案する。 6つの数学的推論ベンチマークの実験では、複数のRLVR最適化手法で性能と訓練効率が一貫した向上を示した。
  論文  参考訳（メタデータ） (2026-02-09T10:51:58Z)
• CoPRIS: Efficient and Stable Reinforcement Learning via Concurrency-Controlled Partial Rollout with Importance Sampling [11.252930904797]
  重要サンプリングを用いた並列制御部分ロールアウト(CoPRIS)を提案する。 CoPRISは、一定数の同時ロールアウトを維持し、十分なサンプルが収集されたら早期終了し、その後のロールアウトで未完成のトラジェクトリを再利用することで、長いテールの非効率を緩和する。 実験の結果、CoPRISは同期RLシステムに匹敵する性能を維持しながら、最大1.94倍高速なトレーニングを実現している。
  論文  参考訳（メタデータ） (2025-11-05T11:39:32Z)
• SPEQ: Offline Stabilization Phases for Efficient Q-Learning in High Update-To-Data Ratio Reinforcement Learning [51.10866035483686]
  強化学習(RL)における高アップデート・トゥ・データ(UTD)比のアルゴリズムは、サンプル効率を改善するが、高い計算コストを伴い、現実世界のスケーラビリティを制限している。 我々は、低UTDオンライントレーニングと周期的オフライン安定化フェーズを組み合わせたRLアルゴリズムである、効率的なQ-Learningのためのオフライン安定化フェーズ(SPEQ)を提案する。 これらのフェーズでは、Q-関数は固定されたリプレイバッファ上で高いUTD比で微調整され、サブ最適データの冗長な更新が削減される。
  論文  参考訳（メタデータ） (2025-01-15T09:04:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。