論文の概要: When Does Closed-Loop Curriculum Adaptation Help GRPO? An Analysis on Countdown

• arxiv url: http://arxiv.org/abs/2610.39056v1
• Date: Wed, 28 Oct 2026 23:35:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.434449
• Title: When Does Closed-Loop Curriculum Adaptation Help GRPO? An Analysis on Countdown
• Title（参考訳）: 閉ループのカリキュラム適応はGRPOに役立つのか? : カウントダウンの分析
• Abstract要約: CLOSEDLOOPGAUSSIANは、順序付き推論タスクを効率的に微調整するための軽量適応型カリキュラムである。 固定された簡単なスケジュールに従う代わりに、CLOSEDLOOPGAUSSIAN は Easy-to-Hard Gaussian sampler の構造を保存する。 コントローラーは、モデルが基準カリキュラムに先立ってトレーニングを加速し、モデルが遅れた時に減速し、以前の困難が後退した時にサンプリングを拡大する。
• 参考スコア（独自算出の注目度）: 3.6083800404464914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement fine-tuning has become an effective post-training paradigm for improving the reasoning ability of large language models, but it remains sample-inefficient when the training distribution is mismatched to the model's current capability. In group-relative objectives such as Group Relative Policy Optimization (GRPO), problems that are too hard often produce uniformly failed rollouts, while problems that are too easy provide little useful advantage signal. In this work, we introduce CLOSEDLOOPGAUSSIAN, a lightweight adaptive curriculum method for efficient reinforcement fine-tuning on ordered reasoning tasks. Instead of following a fixed easy-to-hard schedule, CLOSEDLOOPGAUSSIAN preserves the structure of an Easy-to-Hard Gaussian sampler while dynamically adjusting its pace and spread using periodic probe estimates of per-difficulty accuracy. The controller accelerates training when the model is ahead of a reference curriculum, slows down when the model falls behind, and broadens sampling when earlier difficulties regress. This feedback mechanism keeps training focused on tasks that are challenging but still learnable, without changing the reward function, model architecture, or underlying GRPO optimizer. Experiments on symbolic arithmetic reasoning task show that CLOSEDLOOPGAUSSIAN improves exact-match accuracy over vanilla GRPO and fixed open-loop curricula, with the strongest gains in intermediate-difficulty regimes where group-relative learning signals are most informative. Codes are available at https://github.com/yuvrajpant56/Closed_Loop_Curriculum.
• Abstract（参考訳）: 強化微調整は、大規模言語モデルの推論能力を改善するための効果的な訓練後パラダイムとなっているが、トレーニング分布がモデルの現在の能力と一致していない場合、サンプル非効率のままである。 グループ相対的政策最適化(GRPO)のようなグループ相対的な目的において、困難すぎる問題はしばしば一様に失敗するロールアウトを発生させるが、簡単すぎる問題はほとんど有利な信号を提供しない。 そこで本研究では,CLOSEDLOOPGAUSSIAN(CLOSEDLOOPGAUSSIAN)について紹介する。 CLOSEDLOOPGAUSSIANは、固定された簡単なスケジュールに従う代わりに、そのペースを動的に調整し、周期的なプローブ推定値を用いて拡散しながら、簡単からハードへのガウス標本の構造を保存する。 コントローラーは、モデルが基準カリキュラムに先立ってトレーニングを加速し、モデルが遅れた時に減速し、以前の困難が後退した時にサンプリングを拡大する。 このフィードバックメカニズムは、報酬関数やモデルアーキテクチャ、あるいは基盤となるGRPOオプティマイザを変更することなく、難しいが学習可能なタスクに重点を置いている。 CLOSEDLOOPGAUSSIANは, グループ相対学習信号が最も有意な中間拡散型システムにおいて, バニラGRPOと固定開ループキュリキュラの精度を向上することを示す。 コードはhttps://github.com/yuvrajpant56/Closed_Loop_Curriculumで公開されている。

関連論文リスト

• GAGPO: Generalized Advantage Grouped Policy Optimization [13.085463559931156]
  そこで我々は,段階的,段階的な時間的信用割当のための批判のない強化学習手法を提案する。 ALFWorldとWebShopの実験によると、GAGPOは強力な強化学習ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-05-13T09:10:03Z)
• Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems [70.94268452442147]
  検証可能な報酬(RLVR)からの強化学習はLLMの推論能力を改善した。 本稿では,タスク修正に基づくシンプルで効果的なソリューションを提案する。 本稿では,Cag-DRIFTについて紹介する。このフレームワークは改良された変種を構築し,適応的なカリキュラムに編成する。
  論文  参考訳（メタデータ） (2026-04-06T15:38:38Z)
• Soft Adaptive Policy Optimization [67.61886077470528]
  強化学習は、大規模言語モデルの推論能力を高める上で、ますます重要な役割を担っている。 GSPOやGRPOのような既存のグループベースのポリシー最適化手法は、ハードクリッピングによってこの問題を軽減する。 ハードクリッピングをスムーズな温度制御ゲートに置き換えるソフト適応ポリシー最適化(SAPO)を提案する。
  論文  参考訳（メタデータ） (2025-11-25T14:25:19Z)
• Don't Just Fine-tune the Agent, Tune the Environment [25.7349297100143]
  合成データの微調整の監督は、過度な適合につながる。 標準的な強化学習は、重要なコールドスタート問題とトレーニング不安定性に苦慮している。 本研究は,静的軌道の教師付き微調整から動的環境探索へのパラダイムシフトを示す。
  論文  参考訳（メタデータ） (2025-10-11T12:35:15Z)
• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。