論文の概要: Efficient Resource-Shiftable RL Post-training with Generative Rewards

• arxiv url: http://arxiv.org/abs/2610.16866v1
• Date: Mon, 12 Oct 2026 14:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:09:48.000691
• Title: Efficient Resource-Shiftable RL Post-training with Generative Rewards
• Title（参考訳）: ジェネレーション・リワードを用いた効率的な資源シフト型RLポストトレーニング
• Abstract要約: PivotRLは、異なる役割間で動的にリソースをシフトするポストトレーニングシステムである。 共同配置で1.81～2.05倍、非集約デプロイメントで1.50～1.95倍のスループット向上を実現している。
• 参考スコア（独自算出の注目度）: 24.14593602414692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) post-training with generative reward models (GenRM) has become a central recipe for improving large language models (LLMs), and it is also increasingly resource-intensive: policy rollout, GenRM-based reward evaluation, and policy training all compete for GPU resources. However, existing colocated and disaggregated systems rely on static resource allocation for these roles. Such allocation cannot adapt as each role's workload changes during RL and therefore leaves a role's resources underutilized. We present PivotRL, an RL post-training system that dynamically shifts resources among different roles according to their runtime demands. PivotRL introduces a resource-shiftable runtime built on a Global Parameter Storage, together with a unified mechanism that efficiently shifts role-specific context. A shift-aware scheduler enables sequence migration upon a shift, while a planner considers the aggregate throughput benefit and the shift overhead to determine when and how to shift. We evaluate PivotRL on a 128-GPU cluster using four model groups spanning dense and mixture-of-experts models. PivotRL enables resource shifting within seconds and improves end-to-end throughput by 1.81-2.05 times over colocated deployment and 1.50-1.95 times over disaggregated deployment, while preserving RL convergence.
• Abstract（参考訳）: 生成的報酬モデル(GenRM)による強化学習(RL)は、大規模言語モデル(LLM)を改善するための中心的なレシピとなり、ポリシロールアウト、GenRMベースの報酬評価、ポリシトレーニングといったリソース集約化も進んでいる。 しかし、既存の共有化および非集約化システムは、これらの役割に対して静的なリソース割り当てに依存している。 このようなアロケーションは、RL中の各ロールのワークロードの変化に適応できないため、ロールのリソースは未使用のままである。 本稿では,RLポストトレーニングシステムであるPivotRLについて述べる。 PivotRLでは、グローバルパラメータストレージ上に構築されたリソースシフト可能なランタイムと、ロール固有のコンテキストを効率的にシフトする統一されたメカニズムが導入されている。 シフト対応スケジューラはシフト時のシーケンス移行を可能にし、プランナーは総スループットのメリットとシフトオーバーヘッドを考慮し、いつ、どのようにシフトするかを決定する。 本研究では, 18-GPUクラスタ上でのPivotRLの評価を行う。 PivotRLはリソースのシフトを数秒以内で可能とし、共同配置で1.81～2.05倍、非集約配置で1.50～1.95倍改善し、RL収束を保存する。

関連論文リスト

• Libra: Efficient Resource Management for Agentic RL Post-Training [11.701871372256205]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)を有能なエージェントに変換するための訓練後の標準パラダイムとして登場した。 エージェントRLでは、ロールアウトステージはツールを呼び出しながら軌道を生成し、長い尾と静止しないワークロードを生成する。 両課題に対処するリソース管理システムLibraについて,2つのコアメカニズムを用いて紹介する。
  論文  参考訳（メタデータ） (2026-06-02T03:09:13Z)
• AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs [57.86040075371121]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルの推論、コーディング、ツール使用能力の向上にますます利用されている。 エージェントRLは違法に高価である。 本稿では,従来のトレーナー中心制御を原則的コンポーネント抽象化に置き換えるデータフロー指向RLシステムであるAstraFlowを提案する。
  論文  参考訳（メタデータ） (2026-05-15T03:13:35Z)
• ARL-Tangram: Unleash the Resource Efficiency in Agentic Reinforcement Learning [15.912431502064678]
  ARL-Tangramは、きめ細かい外部リソース共有と弾力性を実現する統一されたリソース管理システムである。 ARL-Tangramは平均ACTを最大4.3$times$で改善し、RLトレーニングのステップ期間を1.5$times$で高速化し、外部リソースを最大71.2$%$で節約する。
  論文  参考訳（メタデータ） (2026-03-13T14:25:20Z)
• RLBoost: Harvesting Preemptible Resources for Cost-Efficient Reinforcement Learning on LLMs [48.94639777633359]
  RLBoostは、プリエンプティブルGPUリソースを抽出するコスト効率のよいRLトレーニングのための体系的なソリューションである。 RLBoostはトレーニングのスループットを1.51x-1.97x向上し、オンデマンドGPUリソースのみを使用する場合に比べてコスト効率は28%-49%向上した。
  論文  参考訳（メタデータ） (2025-10-22T04:19:37Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• Distributional Reinforcement Learning for Multi-Dimensional Reward Functions [91.88969237680669]
  多次元分布DQN(MD3QN)を導入し、複数の報酬源からの共振分布をモデル化する。 関節分布モデリングの副産物として、MD3QNは各報酬源に対するリターンのランダム性を捉えることができる。 実験では,リッチな相関型報酬関数を持つ環境下での連立戻り分布を精度良くモデル化した。
  論文  参考訳（メタデータ） (2021-10-26T11:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。