論文の概要: Learning at the Right Pace: Adaptive Data Scheduling Improves LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.22305v1
• Date: Sun, 21 Jun 2026 02:19:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 19:18:07.615104
• Title: Learning at the Right Pace: Adaptive Data Scheduling Improves LLM Reinforcement Learning
• Title（参考訳）: 正しいペースでの学習: LLM強化学習を改善した適応型データスケジューリング
• Authors: Zicheng Xu, Ruixuan Zhang, Yu-Neng Chuang, Xiuyi Lou, Hoang Anh Duy Le, Oren Gal, Alexander S. Szalay, Zhaozhuo Xu, Guanchu Wang, Vladimir Braverman,
• Abstract要約: 本稿では、強化学習後学習を行うための2レベルデータスケジューリングフレームワークであるAdaptive Data Scheduling (ADS)を提案する。 ADSは、セマンティックパターンに従ってサンプルを整理し、適応的なクラスタ間分布を維持して、現在のトレーニングの進捗を固める。 3つのLCMと7つの推論ベンチマークによる実験結果から、ADSはグループ相対ポリシー最適化よりも平均精度を5.2%向上することが示された。
• 参考スコア（独自算出の注目度）: 60.83841532299041
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) achieve remarkable reasoning capabilities through reinforcement learning (RL) post-training. However, existing RL post-training commonly relies on uniform data sampling, which ignores the semantic structure of the training data and the changing capability of the training policy. To address these limitations, we propose Adaptive Data Scheduling (ADS), a dual-level data scheduling framework for pacing RL post-training that replaces uniform sampling with an adaptive distribution over semantic clusters and policy-boundary sample selection. At the cluster level, ADS organizes samples according to semantic patterns and maintains an adaptive inter-cluster distribution to solidify current training progress. At the sample level, ADS performs intra-cluster scheduling to continuously sample policy-boundary samples, which provides informative relative advantages. Experimental results across three LLMs and seven reasoning benchmarks demonstrate that ADS improves average accuracy by 5.2% over Group Relative Policy Optimization (GRPO). Notably, ADS consistently improves RL methods with different objective designs, highlighting its potential as a general data scheduling strategy for LLM RL post-training. The source code is available at: https://github.com/Richard-zrx/ADS.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、強化学習(RL)後学習を通じて顕著な推論能力を達成する。 しかし、既存のRLポストトレーニングはトレーニングデータのセマンティック構造やトレーニングポリシーの変更能力を無視した均一なデータサンプリングに依存している。 これらの制約に対処するために,RLポストトレーニングをペアリングするための2レベルデータスケジューリングフレームワークであるAdaptive Data Scheduling (ADS)を提案する。 クラスタレベルでは、ADSはセマンティックパターンに従ってサンプルを整理し、適応的なクラスタ間分布を維持して、現在のトレーニングの進捗を固める。 サンプルレベルでは、ADSはクラスタ内スケジューリングを行い、ポリシー境界サンプルを継続的にサンプリングし、情報的相対的な利点を提供する。 3つのLCMと7つの推論ベンチマークによる実験結果から、ADSはグループ相対ポリシー最適化(GRPO)よりも平均精度を5.2%向上することが示された。 特に、ADSは異なる目的設計でRL法を一貫して改善し、LLM RLのポストトレーニングにおける一般的なデータスケジューリング戦略としての可能性を強調している。 ソースコードは、https://github.com/Richard-zrx/ADS.comで入手できる。

関連論文リスト

• Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
  本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。 ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-09T03:42:16Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• DUMP: Automated Distribution-Level Curriculum Learning for RL-based LLM Post-training [25.91869315787235]
  本稿では,分布レベルの学習可能性の概念に基づくカリキュラム学習フレームワークを提案する。 我々のフレームワークは、高い平均的優位性(探索)または低いサンプル数(探索)で分布を優先順位付けする。 実験の結果,本フレームワークは収束速度と最終性能を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-04-13T20:10:27Z)
• Aligning Instruction Tuning with Pre-training [61.50161961371844]
  そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-01-16T08:27:40Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。