論文の概要: CodeContests-O: Powering LLMs via Feedback-Driven Iterative Test Case Generation

• arxiv url: http://arxiv.org/abs/2601.13682v1
• Date: Tue, 20 Jan 2026 07:32:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.202969
• Title: CodeContests-O: Powering LLMs via Feedback-Driven Iterative Test Case Generation
• Title（参考訳）: CodeContests-O: フィードバック駆動反復テストケース生成によるLLMのパワー化
• Authors: Jianfeng Cai, Jinhua Zhu, Ruopei Sun, Kangwen Zhao, Dongyun Xue, Mingxiao Feng, Wengang Zhou, Houqiang Li,
• Abstract要約: 既存のアプローチは、Large Language Models (LLM) を用いたテストケースの合成を試みる 包括的なテストケース構築のために、textbfFeedback-Bench Iterative Framework$を提案します。 私たちのデータセットは、平均的真正率(TPR)が89.37%、真負率(TNR)が90.89%で、CodeContestsとCodeContests+をそれぞれ4.32%、9.37%で大幅に上回っている。
• 参考スコア（独自算出の注目度）: 71.42965967582147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of reasoning models necessitates large-scale verifiable data, for which programming tasks serve as an ideal source. However, while competitive programming platforms provide abundant problems and solutions, high-quality test cases for verification remain scarce. Existing approaches attempt to synthesize test cases using Large Language Models (LLMs), but rely solely on the model's intrinsic generation capabilities without external feedback, frequently resulting in insufficiently diverse cases. To address this limitation, we propose a $\textbf{Feedback-Driven Iterative Framework}$ for comprehensive test case construction. Specifically, our method leverages the LLM to generate initial test cases, executes them against known correct and incorrect solutions, and utilizes the failed results as feedback to guide the LLM in refining the test cases toward high fidelity and discriminability. We then apply this method to the CodeContests dataset to construct an optimized high-quality derivative, $\textbf{CodeContests-O}$. Evaluating against the entire pool of solutions ($1.1 \times 10^7$ in total), our dataset achieves an average True Positive Rate (TPR) of $89.37\%$ and True Negative Rate (TNR) of $90.89\%$, significantly outperforming the CodeContests and CodeContests+ by margins of $4.32\%$ and $9.37\%$, respectively. Furthermore, fine-tuning the Qwen2.5-7B model on CodeContests-O results in a $9.52\%$ improvement on LiveCodeBench (Pass@1). Experiments demonstrate the effectiveness of our framework and the quality of CodeContests-O. To support reproducibility and facilitate future research, we release the $\href{https://github.com/cai-jianfeng/CodeContests-O}{code}$ and $\href{https://huggingface.co/datasets/caijanfeng/CodeContests-O}{dataset}$.
• Abstract（参考訳）: 推論モデルの台頭は、プログラミングタスクが理想的な情報源となるために、大規模な検証可能なデータを必要とする。 しかし、競合するプログラミングプラットフォームは豊富な問題と解決策を提供するが、検証のための高品質なテストケースは依然として少ない。 既存のアプローチは、Large Language Models (LLMs)を使ってテストケースを合成しようとするが、外部からのフィードバックなしに、モデル固有の生成能力にのみ依存する。 この制限に対処するため、包括的なテストケースの構築のために$\textbf{Feedback-Driven Iterative Framework}$を提案します。 具体的には, LLM を利用して初期テストケースを生成し, 既知の正解と誤解に対して実行し, 失敗した結果をフィードバックとして利用して, テストケースを高い忠実度と識別性に改良する。 次に、このメソッドをCodeContestsデータセットに適用して、最適化された高品質なデリバティブである$\textbf{CodeContests-O}$を構築する。 ソリューションのプール全体(合計で1.1 \times 10^7$)に対して評価すると、我々のデータセットは平均真正のレート(TPR)が89.37\%、真負のレート(TNR)が90.89\%であり、CodeContestsとCodeContests+をそれぞれ4.32\%と9.37\%のマージンで大幅に上回っている。 さらに、CodeContests-O上でQwen2.5-7Bモデルを微調整すると、LiveCodeBench(Pass@1)が9.52ドル%改善される。 実験では、フレームワークの有効性とCodeContests-Oの品質が示されています。 再現性をサポートし、将来の研究を容易にするため、$\href{https://github.com/cai-jianfeng/CodeContests-O}{code}$と$\href{https://huggingface.co/datasets/caijanfeng/CodeContests-O}{dataset}$をリリースする。

関連論文リスト

• How Many Code and Test Cases Are Enough? Evaluating Test Cases Generation from a Binary-Matrix Perspective [51.30005925128432]
  LLM(Large Language Models)が自動生成するテストケースの評価は、非常に難しい作業です。 既存のベンチマークは高い計算コスト、インフレーションのスコア、稀でクリティカルな欠陥に対する自明なバグに対するバイアスに悩まされている。 本稿では,ベンチマーク構築をバイナリコードテスト行列の最適な診断基準として定式化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T18:29:24Z)
• CodeContests+: High-Quality Test Case Generation for Competitive Programming [14.602111331209203]
  本稿では,競合プログラミング問題に対する高品質なテストケースを作成するエージェントシステムを提案する。 我々は、このシステムをCodeContestsデータセットに適用し、CodeContests+というテストケースを改善した新しいバージョンを提案する。 その結果、CodeContests+はCodeContestsよりもはるかに高い精度を実現し、特にTPR(True Positive Rate)が顕著であることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T07:29:01Z)
• KodCode: A Diverse, Challenging, and Verifiable Synthetic Dataset for Coding [49.56049319037421]
  KodCodeは、高品質で検証可能なトレーニングデータを取得するという永続的な課題に対処する、合成データセットである。 自己検証手順によって体系的に検証される質問解決テスト三つ子を含む。 このパイプラインは大規模で堅牢で多様なコーディングデータセットを生成する。
  論文  参考訳（メタデータ） (2025-03-04T19:17:36Z)
• $\textbf{PLUM}$: Improving Code LMs with Execution-Guided On-Policy Preference Learning Driven By Synthetic Test Cases [28.791570350483816]
  刑法上の$textbfP$reference $textbfL$earning framework A$textbfu$gmented with test case for code L$textbfM$ s。 PLUMは報酬モデルをトレーニングする必要性を緩和し、大規模なオンラインとオンラインの嗜好データ照合を可能にする。 PLUMの利点は、SFTで十分に訓練されていなくても、様々な広く使われているコードLM間で一貫性があることを示します。
  論文  参考訳（メタデータ） (2024-06-11T02:07:18Z)
• Transfer Q Star: Principled Decoding for LLM Alignment [105.89114186982972]
  Transfer $Q*$は、ベースラインモデルを通してターゲット報酬$r$の最適値関数を推定する。 提案手法は, 従来のSoTA法で観測された準最適差を著しく低減する。
  論文  参考訳（メタデータ） (2024-05-30T21:36:12Z)
• CodeT: Code Generation with Generated Tests [49.622590050797236]
  テストケースを自動的に生成するための事前学習言語モデルについて検討する。 CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。 我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
  論文  参考訳（メタデータ） (2022-07-21T10:18:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。