論文の概要: Predictive Bandit Curriculum Reinforcement Learning via Gradient-Based Sample Group Discovery

• arxiv url: http://arxiv.org/abs/2610.25704v1
• Date: Mon, 19 Oct 2026 02:50:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 12:13:56.927441
• Title: Predictive Bandit Curriculum Reinforcement Learning via Gradient-Based Sample Group Discovery
• Title（参考訳）: 勾配に基づくサンプルグループ探索による予測的帯域強化学習
• Abstract要約: 本稿では,最適化学習ユニットを最初に発見する予測グラディエントベースBandit(PGB)カリキュラムを提案する。 複数のモデルスケールと推論ベンチマークによる実験では、PGBは標準GRPO、難易度ベースのカリキュラム、履歴ベースのスケジューリング戦略を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 37.79276585638146
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Curriculum learning, which organizes training samples according to their learning priority, has been widely adopted in reinforcement learning to improve training efficiency. However, existing methods commonly construct curriculum units using predefined data properties and estimate their utility by simply aggregating a single proxy signal from recent training history.Such designs may group samples with different optimization effects and fail to anticipate how their utility evolves in relation to the policy. We propose Predictive Gradient-based Bandit (PGB) Curriculum, which first discovers optimization-aware learning units by clustering projected sample-level gradients. PGB then employs a lightweight temporal predictor to forecast the future utility of each unit and converts the predictions into a Boltzmann sampling distribution for adaptive data allocation. Experiments across multiple model scales and reasoning benchmarks show that PGB consistently outperforms standard GRPO, difficulty-based curricula, and history-based scheduling strategies, demonstrating improved data utilization and training efficiency.
• Abstract（参考訳）: 学習の優先順位に応じて学習サンプルを整理するカリキュラム学習は、訓練効率を向上させるために強化学習において広く採用されている。 しかし、既存の手法では、事前定義されたデータプロパティを用いてカリキュラム単位を構築し、最近の訓練履歴から単一のプロキシ信号だけを集約することで実用性を見積もるのが一般的であり、多くの設計者は異なる最適化効果でサンプルをグループ化し、その実用性がどのように発展していくのかを予測できない可能性がある。 本稿では,予測勾配に基づくBandit(PGB)カリキュラムを提案する。 次に、PGBは、各ユニットの将来の実用性を予測するために軽量な時間予測器を使用し、これらの予測を適応データアロケーションのためのボルツマンサンプリング分布に変換する。 複数のモデルスケールと推論ベンチマークの実験により、PGBは標準GRPO、難易度ベースのカリキュラム、履歴ベースのスケジューリング戦略を一貫して上回り、データ利用とトレーニング効率の向上を実証した。

関連論文リスト

• Sequential Data Augmentation for Generative Recommendation [54.765568804267645]
  生成的レコメンデーションはパーソナライズされたシステムにおいて重要な役割を担い、ユーザの将来のインタラクションを過去の行動シーケンスから予測する。 データ拡張(Data augmentation)は、ユーザインタラクション履歴からトレーニングデータを構築するプロセスである。 我々は、サンプリングプロセスとして拡張をモデル化し、その結果のトレーニング分布の柔軟な制御を可能にする、原則化されたフレームワークであるGenPASを提案する。 ベンチマークと産業データセットを用いた実験により、GenPASは既存の戦略よりも精度、データ効率、パラメータ効率が優れていることが示された。
  論文  参考訳（メタデータ） (2025-09-17T02:53:25Z)
• PVPO: Pre-Estimated Value-Based Policy Optimization for Agentic Reasoning [6.050409262589219]
  本稿では,アドバンスト参照アンカーとデータ事前サンプリングによって強化された効率的な強化学習手法であるPVPOを提案する。 本手法は,グループ内比較によって生じる累積バイアスを効果的に補正し,トレーニング中のロールアウト数への依存を著しく低減する。 このアプローチは,複数のタスクにまたがる堅牢な一般化を示すだけでなく,さまざまなスケールのモデルにまたがるスケーラブルなパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-08-28T09:18:26Z)
• ReAugment: Model Zoo-Guided RL for Few-Shot Time Series Augmentation and Forecasting [74.00765474305288]
  本稿では,時系列データ拡張のための強化学習(RL)の試験的検討を行う。 我々の手法であるReAugmentは、トレーニングセットのどの部分が拡張されるべきか、どのように拡張を行うべきか、RLがプロセスにどのような利点をもたらすのか、という3つの重要な問題に取り組む。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。