論文の概要: DRIVE: Data Curation Best Practices for Reinforcement Learning with Verifiable Reward in Competitive Code Generation

• arxiv url: http://arxiv.org/abs/2511.06307v1
• Date: Sun, 09 Nov 2025 10:11:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.878753
• Title: DRIVE: Data Curation Best Practices for Reinforcement Learning with Verifiable Reward in Competitive Code Generation
• Title（参考訳）: DRIVE:競争力のあるコード生成における検証可能なリワードによる強化学習のためのデータキュレーションベストプラクティス
• Authors: Speed Zhu, Jianwei Cai, Guang Chen, Lulu Wu, Saiyong Yang, Wiggin Zhou,
• Abstract要約: 我々は、RLVR(すなわち、RLプロンプト)を構築し、競争プログラミングコード生成に強力なパフォーマンスをもたらすトレーニング技術を示す。 本手法はQwen2.5-32B上で実装され,LeetCodeとCodeforcesの毎週のコンテストでデータ漏洩を回避する。 結果として得られたモデルは、同様のスケールのモデル間で最先端のパフォーマンスを実現し、DeepSeek v3.1 や Doubao-1.5-Thinking のような主要なシステムに匹敵する。
• 参考スコア（独自算出の注目度）: 5.496363733566038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent reasoning-first models (e.g., OpenAI o1, DeepSeek R1) have spurred a resurgence of interest in RLVR. Nevertheless, advances are dominated by mathematics (e.g., AIME), with competitive-programming code generation underexplored and data curation receiving less attention than RL algorithm design. We investigate how to construct RLVR datasets (i.e., RL prompts) and present practical training techniques that yield strong performance on competitive-programming code generation. Our pipeline begins with supervised fine-tuning (SFT) distilled from strong open-source models, augmented with general-purpose and reasoning-intensive data. RL then follows a two-stage process with executable, testcase-driven rewards: first, training on a large, uniformly distributed set of competitive-programming problems using Group Relative Policy Optimization (GRPO) with 8 rollouts per prompt and a relatively short response-generation window (e.g., 32k during SFT and 24k in this stage) to expand entropy and mitigate repetition and truncation; second, we perform \textbf{Pre-GRPO}: updating on a small, high-quality set of challenging problems with a large rollout budget (64 rollouts per prompt) under a hard-focus curriculum that continuously retains the most difficult instances throughout training. We implement our method on Qwen2.5-32B and evaluate on LeetCode and Codeforces weekly contests to avoid data leakage. The resulting model achieves state-of-the-art performance among models of similar scale and is comparable to leading systems such as DeepSeek v3.1 and Doubao-1.5-Thinking. We also examine scaling trends and observe strong RL scaling on an internal large-scale MoE model. Our study distills concise best practices for data curation, entropy expansion, and curriculum design in RLVR for competitive-programming code generation.
• Abstract（参考訳）: 最近の推論ファーストモデル(OpenAI o1、DeepSeek R1)は、RLVRへの関心を復活させた。 しかし、進歩は数学(例えばAIME)に支配されており、競合プログラミングのコード生成は未探索であり、データキュレーションはRLアルゴリズムの設計よりも注目度が低い。 本稿では、RLVRデータセット(RLプロンプト)の構築方法と、競合プログラミングコード生成に強力な性能をもたらす実践的トレーニング手法について検討する。 我々のパイプラインは、強力なオープンソースモデルから抽出された教師付き微調整(SFT)から始まり、汎用的および推論集約的なデータで強化される。 次にRLは、実行可能でテストケース駆動の報奨を伴う2段階のプロセスに従う: まず、グループ相対ポリシー最適化(GRPO)を使用して、大規模な、均一に分散した競合プログラミング問題のセットをトレーニングする。 グループ相対ポリシー最適化(GRPO)は、プロンプト毎に8回ロールアウトし、比較的短い応答生成ウィンドウ(例えば、SFT中32k、この段階では24k)を使用して、エントロピーを拡張し、繰り返しと停止を緩和する。 本手法はQwen2.5-32B上で実装され,LeetCodeとCodeforcesの毎週のコンテストでデータ漏洩を回避する。 結果として得られたモデルは、同様のスケールのモデル間で最先端のパフォーマンスを実現し、DeepSeek v3.1 や Doubao-1.5-Thinking のような主要なシステムに匹敵する。 また,スケーリングの傾向を考察し,内部の大規模MoEモデル上で強力なRLスケーリングを観測する。 本研究は、RLVRにおけるデータキュレーション、エントロピー展開、カリキュラム設計のための簡潔なベストプラクティスを、競合プログラミングコード生成のために精査する。

関連論文リスト

• Efficient Reinforcement Learning for Large Language Models with Intrinsic Exploration [33.02780998281276]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善した。 本研究は,RLVRにおけるデータ効率の向上に本質的なデータ特性の活用,すなわちトレーニング中のほぼ自由な利益をいかに生かすかを検討する。
  論文  参考訳（メタデータ） (2025-11-02T04:16:47Z)
• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• VERIRL: Boosting the LLM-based Verilog Code Generation via Reinforcement Learning [32.974199255760944]
  本稿では,Verilogコード生成に適した強化学習フレームワークを提案する。 スパース信号と雑音信号に対処するために,トレースバックに基づくRescore機構を提案する。 RL微調整中の破滅的忘れと過適合を軽減するため,サンプルバランスの重み付け戦略を導入する。
  論文  参考訳（メタデータ） (2025-08-25T20:20:44Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning [1.0709300917082865]
  数発の強化学習のための合成非構造化データを生成するための分布認識フローマッチング手法を提案する。 我々のアプローチは、オーバーフィッティングやデータ相関など、従来のモデルベースRLにおける重要な課題に対処する。 提案手法は,初期タイムスタンプのフレームレートを30%向上させながら,最大Q値で安定した収束を実現することを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。