論文の概要: PivotRL: High Accuracy Agentic Post-Training at Low Compute Cost
- arxiv url: http://arxiv.org/abs/2603.21383v1
- Date: Sun, 22 Mar 2026 19:59:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.391223
- Title: PivotRL: High Accuracy Agentic Post-Training at Low Compute Cost
- Title（参考訳）: PivotRL: 低コストで高精度なエージェントポストトレーニング
- Abstract要約: 長距離エージェントタスクのポストトレーニングは、計算効率と一般化の間に緊張関係がある。
本稿では,既存のSFTトラジェクトリで動作する新しいフレームワークであるPivotRLを紹介し,SFTの計算効率とE2E RLのOOD精度を組み合わせた。
PivotRLはNVIDIAのNemotron-3-Super-120B-A12Bで採用され、量産規模のエージェント・ポストトレーニングにおけるワークホースとして機能している。
- 参考スコア（独自算出の注目度）: 22.906887375657664
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training for long-horizon agentic tasks has a tension between compute efficiency and generalization. While supervised fine-tuning (SFT) is compute efficient, it often suffers from out-of-domain (OOD) degradation. Conversely, end-to-end reinforcement learning (E2E RL) preserves OOD capabilities, but incurs high compute costs due to many turns of on-policy rollout. We introduce PivotRL, a novel framework that operates on existing SFT trajectories to combine the compute efficiency of SFT with the OOD accuracy of E2E RL. PivotRL relies on two key mechanisms: first, it executes local, on-policy rollouts and filters for pivots: informative intermediate turns where sampled actions exhibit high variance in outcomes; second, it utilizes rewards for functional-equivalent actions rather than demanding strict string matching with the SFT data demonstration. We theoretically show that these mechanisms incentivize strong learning signals with high natural gradient norm, while maximally preserving policy probability ordering on actions unrelated to training tasks. In comparison to standard SFT on identical data, we demonstrate that PivotRL achieves +4.17% higher in-domain accuracy on average across four agentic domains, and +10.04% higher OOD accuracy in non-agentic tasks. Notably, on agentic coding tasks, PivotRL achieves competitive accuracy with E2E RL with 4x fewer rollout turns. PivotRL is adopted by NVIDIA's Nemotron-3-Super-120B-A12B, acting as the workhorse in production-scale agentic post-training.
- Abstract（参考訳）: 長距離エージェントタスクのポストトレーニングは、計算効率と一般化の間に緊張関係がある。
教師付き微調整(SFT)は計算効率が高いが、しばしばドメイン外劣化(OOD)に悩まされる。
逆に、エンド・ツー・エンド強化学習(E2E RL)はOOD能力を保っているが、多くのオン・ポリシーのロールアウトのために高い計算コストを発生させる。
本稿では,既存のSFTトラジェクトリで動作する新しいフレームワークであるPivotRLを紹介し,SFTの計算効率とE2E RLのOOD精度を組み合わせた。
PivotRLは2つの主要なメカニズムに依存している: 第一に、ローカル、オン・ポリシーのロールアウトとピボットのフィルタを実行する: サンプルアクションが結果に高いばらつきを示す情報中間旋回、第二に、SFTデータデモと厳密な文字列マッチングを要求するのではなく、機能等価アクションに対する報酬を利用する。
これらのメカニズムは,学習課題とは無関係な行動に基づいて,政策確率を最大に保ちながら,高い自然勾配ノルムを持つ強い学習信号を動機付けることを理論的に示す。
同一データにおける標準的なSFTと比較して、PivotRLは4つのエージェントドメインの平均でドメイン内精度+4.17%、非エージェントタスクでは+10.04%高いOOD精度を実現している。
特に、エージェントコーディングタスクでは、PivotRLはE2E RLとの競合精度を4倍のロールアウトターンで達成している。
PivotRLはNVIDIAのNemotron-3-Super-120B-A12Bで採用され、量産規模のエージェント・ポストトレーニングにおけるワークホースとして機能している。
関連論文リスト
- Unified Data Selection for LLM Reasoning [66.0118347918729]
複雑で長いCoT推論のための大規模言語モデル(LLM)のトレーニングは、しばしば大量の高品質な推論データの必要性によってボトルネックとなる。
本研究では,各推論サンプルの上位(例えば0.5%)のエントロピートークンのみを和らげることで,推論品質を定量化する学習自由度指標であるHigh-Entropy Sum(HES)を提案する。
論文 参考訳（メタデータ） (2026-05-21T12:21:41Z) - From SFT to RL: Demystifying the Post-Training Pipeline for LLM-based Vulnerability Detection [2.6678231901651723]
LLMに基づく脆弱性検出のための訓練後パイプラインに関する最初の包括的調査を行う。
本研究は,データキュレーション,ステージインタラクション,報酬メカニズム,評価プロトコルがモデルトレーニングと評価の有効性を総合的に規定するなど,実践的なガイドラインと洞察を明らかにする。
論文 参考訳（メタデータ） (2026-02-15T06:33:25Z) - CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。
既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。
機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文 参考訳（メタデータ） (2026-01-30T10:33:29Z) - Trust-Region Adaptive Policy Optimization [82.09255251747818]
後学習法は,大規模言語モデル(LLM)の複雑な推論能力の向上に重要な役割を果たしている。
トレーニングインスタンス毎に,Fun-Tuning(SFT)とReinforcement Learning(RL)をインターリーブするフレームワークであるTRAPOを紹介する。
5つの数学的推論ベンチマークの実験は、TRAPOが標準SFT、RL、SFT-then-RLパイプラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-12-19T14:37:07Z) - Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。
Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
論文 参考訳（メタデータ） (2025-10-30T11:53:08Z) - Quagmires in SFT-RL Post-Training: When High SFT Scores Mislead and What to Use Instead [20.446287312285648]
我々は,高いSFTスコアがRL後の性能向上に寄与するかどうかを検討した。
高いSFTスコアは、より単純あるいはより均一なデータに偏りがあり、その後のRLゲインやスケールアップ後の学習効果を確実に予測できない。
本稿では,RL結果に対して強力なプロキシを提供するために,代替指標について検討し,ホールドアウト推論例とPass@large kパフォーマンスについて一般化損失を同定する。
論文 参考訳（メタデータ） (2025-10-02T02:57:00Z) - Beyond Two-Stage Training: Cooperative SFT and RL for LLM Reasoning [36.06085913761571]
本研究では,二段階最適化を用いた推論モデル学習手法を提案する。
最適RLポリシーにSFTの目的を条件付けることにより、SFTはRLの最適化プロセスの導出方法をメタ学習することができる。
論文 参考訳（メタデータ） (2025-09-08T17:58:02Z) - Your Reward Function for RL is Your Best PRM for Search: Unifying RL and Search-Based TTS [62.22644307952087]
本稿では、RLベースと検索ベースTTSの最初の自然統合であるAIRL-Sを紹介する。
逆逆強化学習(AIRL)とグループ相対政策最適化(GRPO)を組み合わせることで、正しい推論トレースから高密度な動的PRMを直接学習する。
提案手法は,GPT-4oと一致して,ベースモデル上での平均9%の性能向上を図っている。
論文 参考訳（メタデータ） (2025-08-19T23:41:15Z) - InfiAlign: A Scalable and Sample-Efficient Framework for Aligning LLMs to Enhance Reasoning Capabilities [27.09178257629886]
InfiAlignは、大規模言語モデル(LLM)のためのスケーラブルでサンプル効率の良いポストトレーニングフレームワークである
InfiAlignの中核は、オープンソースの推論から高品質なアライメントデータを自動的にキュレートする堅牢なデータ選択パイプラインである。
本結果は,基本データ選択とフルステージポストトレーニングの併用の有効性を強調した。
論文 参考訳（メタデータ） (2025-08-07T15:34:06Z) - How to Train Your LLM Web Agent: A Statistical Diagnosis [96.86317871461834]
LLMウェブエージェントのポストトレーニングにおける計算割当に関する統計学的基礎研究について述べる。
提案手法では,Llama 3.1 8Bの学生を対象に,教師付き微調整(SFT)とオンライン強化学習を用いて,Llama 3.3 70Bの教師を模倣する2段階のパイプラインを用いた。
以上の結果から,SFTとオンラインRLの組み合わせは,WorkArenaとMiniWob++のいずれにおいても,単独でのアプローチよりも一貫して優れていた。
論文 参考訳（メタデータ） (2025-07-05T17:12:33Z) - Learning to Optimize for Reinforcement Learning [58.01132862590378]
強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。
エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。
おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
論文 参考訳（メタデータ） (2023-02-03T00:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。