論文の概要: X-Coder: Advancing Competitive Programming with Fully Synthetic Tasks, Solutions, and Tests
- arxiv url: http://arxiv.org/abs/2601.06953v1
- Date: Sun, 11 Jan 2026 15:22:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-13 19:08:01.086184
- Title: X-Coder: Advancing Competitive Programming with Fully Synthetic Tasks, Solutions, and Tests
- Title(参考訳): X-Coder: 完全な合成タスク、ソリューション、テストによる競合プログラミングの改善
- Authors: Jie Wu, Haoling Li, Xin Zhang, Jiani Guo, Jane Luo, Steven Liu, Yangyu Huang, Ruihang Chu, Scarlett Li, Yujiu Yang,
- Abstract要約: 我々は、完全に生成されたタスク、ソリューション、テストケースでコードLLMをトレーニングするための完全な合成アプローチを提案する。
これをサポートするために,我々は機能ベースの合成を活用し,SynthSmithと呼ばれる新しいデータ合成パイプラインを提案する。
SynthSmithは、検証されたソリューションとテストとともに、多種多様な挑戦的なタスクを生成する強力な可能性を示している。
X-Coderモデルシリーズは、LiveCodeBench v5では62.9 avg@8、v6では55.8で、DeepCoder-14B-PreviewとAReal-boba2-14Bを上回っている。
- 参考スコア(独自算出の注目度): 47.271827881215295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Competitive programming presents great challenges for Code LLMs due to its intensive reasoning demands and high logical complexity. However, current Code LLMs still rely heavily on real-world data, which limits their scalability. In this paper, we explore a fully synthetic approach: training Code LLMs with entirely generated tasks, solutions, and test cases, to empower code reasoning models without relying on real-world data. To support this, we leverage feature-based synthesis to propose a novel data synthesis pipeline called SynthSmith. SynthSmith shows strong potential in producing diverse and challenging tasks, along with verified solutions and tests, supporting both supervised fine-tuning and reinforcement learning. Based on the proposed synthetic SFT and RL datasets, we introduce the X-Coder model series, which achieves a notable pass rate of 62.9 avg@8 on LiveCodeBench v5 and 55.8 on v6, outperforming DeepCoder-14B-Preview and AReal-boba2-14B despite having only 7B parameters. In-depth analysis reveals that scaling laws hold on our synthetic dataset, and we explore which dimensions are more effective to scale. We further provide insights into code-centric reinforcement learning and highlight the key factors that shape performance through detailed ablations and analysis. Our findings demonstrate that scaling high-quality synthetic data and adopting staged training can greatly advance code reasoning, while mitigating reliance on real-world coding data.
- Abstract(参考訳): 競合プログラミングは、その強い推論要求と高い論理的複雑さのために、コードLLMにとって大きな課題を提示します。
しかし、現在の Code LLM は依然として実世界のデータに大きく依存しているため、スケーラビリティは制限されている。
本稿では、実世界のデータに頼ることなく、コード推論モデルを強化するために、完全に生成されたタスク、ソリューション、テストケースでコードLLMをトレーニングする、完全に合成されたアプローチについて検討する。
これをサポートするために,我々は機能ベースの合成を活用し,SynthSmithと呼ばれる新しいデータ合成パイプラインを提案する。
SynthSmithは、教師付き微調整と強化学習の両方をサポートする検証済みのソリューションとテストとともに、多種多様な課題を生み出す強力な可能性を示している。
提案した合成SFTおよびRLデータセットに基づいて,7Bパラメータしか持たないにもかかわらず,LiveCodeBench v5では62.9 avg@8,v6では55.8,DeepCoder-14B-PreviewとAReal-boba2-14Bを上回り,X-Coderモデルシリーズを導入する。
詳細な分析により、スケーリング法則が我々の合成データセットに当てはまることが明らかとなり、どの次元がより効果的かを探究する。
さらに、コード中心の強化学習に関する洞察を提供し、詳細な改善と分析を通じてパフォーマンスを形作る重要な要素を強調します。
以上の結果から,高品質な合成データのスケーリングと段階的学習の導入は,実世界の符号化データへの依存を軽減しつつ,コードの推論を大幅に向上させる可能性が示唆された。
関連論文リスト
- Increasing LLM Coding Capabilities through Diverse Synthetic Coding Tasks [41.75017840131367]
大規模言語モデル(LLM)は、コード生成において素晴らしい可能性を示しています。
800k近い命令推論コードテスト四重項を生成するスケーラブルな合成データ生成パイプラインを提案する。
論文 参考訳(メタデータ) (2025-10-27T10:54:25Z) - MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization [103.74675519953898]
ロングチェーンのリフレクティブ推論は、複雑な現実世界の問題を解決するための前提条件である。
我々は42の難解な合成タスクの1,260のサンプルからなるベンチマークを構築した。
トレーニング後のデータを生成し、そのようなデータを活用するための学習パラダイムを探索する。
論文 参考訳(メタデータ) (2025-10-09T17:53:58Z) - SynLogic: Synthesizing Verifiable Reasoning Data at Scale for Learning Logical Reasoning and Beyond [35.80475408913363]
多様な論理的推論データを大規模に生成するデータ合成フレームワークおよびデータセットであるSynLogicを提案する。
7Bおよび32Bモデルに基づくSynLogicデータセットにおけるRLトレーニングの有効性を検証する。
混合トレーニングモデルは、複数のベンチマークでDeepSeek-R1-Zero-Qwen-32Bより優れています。
論文 参考訳(メタデータ) (2025-05-26T07:59:36Z) - Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。
提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
論文 参考訳(メタデータ) (2025-03-25T11:07:12Z) - Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。
最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。
プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
論文 参考訳(メタデータ) (2024-07-17T11:35:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。