論文の概要: PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs
- arxiv url: http://arxiv.org/abs/2608.30528v1
- Date: Mon, 31 Aug 2026 09:59:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.339586
- Title: PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs
- Title（参考訳）: PAC:LLMのマルチタスク強化学習のための進歩的アドバンテージカリキュラム
- Abstract要約: LLMのマルチタスク強化学習のための進歩的アドバンテージカリキュラムを提案する。
これは、タスクが引き起こせるポリシー更新の規模を計測する利点に基づく学習性と、それらの更新がタスクのパフォーマンスを改善したかどうかを示す最近の報酬ゲインの2つのタスクレベル信号を組み合わせる。
- 参考スコア（独自算出の注目度）: 7.858242304760954
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) is used to improve the reasoning abilities of LLMs, while training data span heterogeneous tasks. However, most RL post-training pipelines rely on fixed or manually designed task mixtures, even though task usefulness changes as training progresses. Online curriculum methods often define learnability by update magnitude, ignoring whether the update translates into reward gains, which can misallocate rollout budget toward tasks with large but ineffective updates. We propose PAC, a Progress-Augmented Advantage Curriculum for multi-task RL of LLMs that combines two task-level signals: advantage-derived learnability, which measures the magnitude of the policy update a task can induce, and recent reward gains, which show whether those updates have improved task performance. A Bayesian Thompson Sampling controller uses these signals to allocate rollouts across tasks during GRPO training. We evaluate PAC under two settings: a multi-level reasoning setting and a multi-domain reasoning setting. PAC improves sample efficiency and final performance: it reaches comparable validation scores with fewer rollout steps and achieves higher final averages than random sampling and advantage-based curriculum baselines in both settings. These results show that jointly tracking advantage signals and actual reward gains yields an effective online curriculum for LLM post-training.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、LLMの推論能力を改善するために用いられ、トレーニングデータは異種タスクにまたがる。
しかしながら、ほとんどのRLポストトレーニングパイプラインは、トレーニングが進むにつれてタスクの有用性が変化しても、固定または手動で設計されたタスクミックスに依存している。
オンラインカリキュラムの手法は、更新の規模によって学習可能性を定義することが多く、更新が報奨に変換されるかどうかを無視し、大規模なが非効果的な更新を伴うタスクに対してロールアウト予算を誤って割り当てることができる。
PACは,多タスクRL(マルチタスクRL)と多タスクRL(マルチタスクRL)の2つのタスクレベル信号を組み合わせた,プログレッシブ・アドバンテージ・カリキュラムであり,タスクが誘導できるポリシー更新の規模を計測する「アドバンテージ・リテラシー」と,それらの更新がタスク性能を向上したかどうかを示す最近の報奨ゲインを提案する。
ベイジアントンプソンサンプリングコントローラは、GRPOトレーニング中にこれらの信号を使用してタスク間のロールアウトを割り当てる。
マルチレベル推論設定とマルチドメイン推論設定の2つの設定でPACを評価した。
PACはサンプル効率と最終性能を改善し、ロールアウトステップを少なくして同等の検証スコアに到達し、両方の設定においてランダムサンプリングとアドバンテージベースのカリキュラムベースラインよりも高い最終平均を達成する。
これらの結果から,有益信号と実報酬利得を共同で追跡することは,LLM後学習に有効なオンラインカリキュラムとなることが示唆された。
関連論文リスト
- Beyond Solvability: Task Learnability as a Static Prior for LLM RL Post-Training [52.78248352851176]
強化学習(Reinforcement Learning, RL)は、大規模言語モデルにおける推論能力を引き出すための訓練後のパラダイムである。
本研究では,この残差軸をタスク学習可能性として検討する。
そこで我々はTrajValを提案する。TrajValは、短いプローブランと2つのエンドポイント評価からタスク毎の学習可能性を近似する軽量なプローブベース推定器である。
論文 参考訳（メタデータ） (2026-08-10T07:43:05Z) - Learning to Adapt: Representation-Based Reinforcement Learning for Multi-Task Skill Transfer [5.787601808065202]
RepMT-SACはマルチタスクRLのためのフレームワークであり、効率的な知識共有と新しいタスクへの堅牢な転送を可能にする。
本研究では,RepMT-SACを分布内および分布外領域にまたがるトラジェクトリ追従タスクにおいて評価し,ベースラインを最大30%向上させることを示した。
論文 参考訳（メタデータ） (2026-06-11T04:33:03Z) - Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。
ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-02-09T03:42:16Z) - PARL-MT: Learning to Call Functions in Multi-Turn Conversation with Progress Awareness [57.020401590532686]
マルチターン関数呼び出しのためのLLMトレーニングに進捗認識を明示的に組み込むフレームワークであるPARL-MTを導入する。
PARL-MTは既存の手法よりも優れており、堅牢で効率的なマルチターン関数呼び出しの実現における進捗認識の有効性を強調している。
論文 参考訳（メタデータ） (2025-09-27T09:32:27Z) - Teaching RL Agents to Act Better: VLM as Action Advisor for Online Reinforcement Learning [5.025037011107095]
視覚言語アクション(VLA)ポリシーは、多様なタスクを解決するための有望な方向を表す。
我々は、視覚言語モデル(VLM)のドメイン知識を活用するフレームワークであるtextbf VARL(textbfVLM as textbfAction Advisor for online textbfReinforcement textbfL)を提案する。
論文 参考訳（メタデータ） (2025-09-25T13:16:34Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [65.14124923451077]
強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。
しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。
軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
論文 参考訳（メタデータ） (2025-08-07T17:53:47Z) - Omni-Thinker: Scaling Multi-Task RL in LLMs with Hybrid Reward and Task Scheduling [66.0871543682453]
我々はOmni-Thinkerについて紹介する。Omni-Thinkerは多種多様なタスクにわたって大きな言語モデルをスケールする統合強化学習フレームワークである。
我々のスケジューラは,BWTに基づいてタスクを順序付けし,マルチタスク性能を向上する。
論文 参考訳（メタデータ） (2025-07-20T01:50:16Z) - DUMP: Automated Distribution-Level Curriculum Learning for RL-based LLM Post-training [25.91869315787235]
本稿では,分布レベルの学習可能性の概念に基づくカリキュラム学習フレームワークを提案する。
我々のフレームワークは、高い平均的優位性(探索)または低いサンプル数(探索)で分布を優先順位付けする。
実験の結果,本フレームワークは収束速度と最終性能を大幅に改善することがわかった。
論文 参考訳（メタデータ） (2025-04-13T20:10:27Z) - VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。
本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
論文 参考訳（メタデータ） (2024-10-02T15:49:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。