論文の概要: Robust Code RL via Faulty-Code-Driven Test case Synthesis and Dense Reward Shaping

• arxiv url: http://arxiv.org/abs/2608.24135v1
• Date: Tue, 25 Aug 2026 07:00:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.850673
• Title: Robust Code RL via Faulty-Code-Driven Test case Synthesis and Dense Reward Shaping
• Title（参考訳）: 欠陥コード駆動テストケース合成とDense Reward ShapingによるロバストコードRL
• Abstract要約: 検証可能な報酬(RLVR)からの強化学習は、LLM(Large Language Models)のコード生成能力を向上するための重要なテクニックとして登場した。 本稿では,コード駆動型テストケース合成戦略を導入するRobustTestsフレームワークを提案する。 トレーニングのためにCodeContestsから適度に困難な問題のサブセットを活用することで、RobustTestsによるQwen3-32Bの微調整により、LiveCodeBenchベンチマークでは、絶対的な3%のパフォーマンス向上が達成できることを示す。
• 参考スコア（独自算出の注目度）: 25.919848220574803
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reinforcement learning from verifiable rewards (RLVR) has emerged as a pivotal technique for enhancing the code generation capabilities of Large Language Models (LLMs). However, the efficacy of RLVR in coding implementations is fundamentally limited by the comprehensiveness of test cases, because insufficient test coverage in code validation often causes false positives, further leading to reward hacking and policy degradation. To mitigate the reward bias stemming from the suboptimal quality of current automated generation methods, we propose the RobustTests framework, which introduces a faulty-code-driven test case synthesis strategy that leverages "near correct" faulty codes to guide the model in precisely capturing latent logical discrepancies and further integrates validator agents with behavioral feature clustering to facilitate the granular filtering of invalid and redundant test cases. To address false negatives caused by inherent hallucination noise in synthetic test cases, RobustTests also incorporates a stepwise dense reward function based on pass rates, bolstering training robustness through fine-grained feedback. By employing this pipeline, we construct a high-quality dataset that augmented the test cases in CodeContests, encompassing a broader spectrum of faulty code scenarios and significantly enhances diagnostic utility. Experimental results demonstrate that, by leveraging a moderately challenging subset of problems from CodeContests for training, RL fine-tuning of Qwen3-32B via RobustTests achieves an absolute 3% performance gain on the LiveCodeBench benchmark compared to baseline methods, confirming the effectiveness of the RobustTests framework in advancing the code generation proficiency of LLMs.
• Abstract（参考訳）: 検証可能な報酬(RLVR)からの強化学習は、LLM(Large Language Models)のコード生成能力を向上するための重要なテクニックとして登場した。 しかしながら、コーディング実装におけるRLVRの有効性は、コードの検証に不十分なテストカバレッジが偽陽性を引き起こし、さらにハッキングやポリシーの劣化に報いるため、テストケースの包括性によって基本的に制限されている。 現在の自動生成手法の最適品質に起因した報酬バイアスを軽減するため,ロバストテストフレームワークを提案する。このフレームワークでは,"ほぼ正しい"故障コードを利用して,遅延論理的不整合を正確に把握し,検証エージェントと行動特徴クラスタリングを統合し,無効かつ冗長なテストケースの粒度フィルタリングを容易にする。 合成テストケースで固有の幻覚ノイズに起因する偽陰性に対処するために、RobustTestsでは、パスレートに基づいた段階的に密度の高い報酬関数も組み込まれ、きめ細かいフィードバックを通じてトレーニングの堅牢性を高めている。 このパイプラインを利用することで、私たちは、CodeContestsでテストケースを拡張する高品質なデータセットを構築します。 実験結果から、CodeContestsからトレーニングに適度に挑戦するサブセットを活用することで、RobostTestsによるQwen3-32Bの微調整が、ベースラインメソッドと比較して、LiveCodeBenchベンチマークで絶対3%のパフォーマンス向上を実現し、LLMのコード生成能力の向上におけるRobostTestsフレームワークの有効性を確認した。

関連論文リスト

• Two-Stage Reinforcement Learning for Sound and Adversarial Test Generation in Code LLMs [26.793057131286435]
  学習モデルを用いたテストケースの自動生成について検討した。 効率的なテスト生成のための2段階RLフレームワークであるテストケーススケーリング(TCS)を提案する。
  論文  参考訳（メタデータ） (2026-09-03T14:55:08Z)
• MineValiCoder: Reliable Code Generation with Test Case Quality Mining and Bipartite Graph-Based Mutual Validation [9.901505812242652]
  コード品質とケース品質の相互強化に基づくクローズドループテスト駆動開発(TDD)フレームワークを提案する。 MineValiCoderは最先端のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-07-24T16:39:06Z)
• ZeroCoder: Can LLMs Improve Code Generation Without Ground-Truth Supervision? [13.984583399745157]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、実行ベースのフィードバックを通じて改善する強力なパラダイムである。 既存の作業では、自己生成テストを使って報酬を土台にしようとしたが、差別的テストの欠如は、テスト生成に対するモデルの準最適性能による影響を制限した。 我々はZeroCoderについて紹介する。ZeroCoderは、自己生成されたコード-テストインタラクションから実行フィードバックを使用して、CoderとTesterを共同でトレーニングする完全なラベルなしの共進化フレームワークである。
  論文  参考訳（メタデータ） (2026-04-09T06:24:54Z)
• Code-A1: Adversarial Evolving of Code LLM and Test LLM via Reinforcement Learning [54.95476453942411]
  コード生成のための強化学習は、単体テストのパスレートから検証可能な報酬に依存する。 最近のセルフプレイ手法は、1つのモデルでコードとテスト生成を統合する。 Code-A1は、人間のアノテーションによるテストでトレーニングされたコード生成のパフォーマンスマッチングまたはモデルを超えることを実現する。
  論文  参考訳（メタデータ） (2026-03-16T17:58:13Z)
• CodeHacker: Automated Test Case Generation for Detecting Vulnerabilities in Competitive Programming Solutions [8.163435280190027]
  既存のベンチマークは、しばしば微妙なコーナーケースのカバレッジを欠いているため、誤った解決策を通すことができる。 CodeHackerは、プログラムの提出中に潜伏する脆弱性を暴露する逆テストケースを生成する。 実験によると、CodeHackerは既存のデータセットのTrue Negative Rate(TNR)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-23T05:59:30Z)
• Consistency Meets Verification: Enhancing Test Generation Quality in Large Language Models Without Ground-Truth Solutions [1.9196411948992402]
  ConVerTestは、既存のコード実装を必要とせず、信頼性の高いテストを合成するための、新しい2段階のパイプラインである。 BIGCODEBENCHとLESS BASIC PYTHON PROBLEMSベンチマークの実験では、ConVerTestはテストの妥当性、ラインカバレッジ、突然変異スコアを最大39%、28%、18%改善している。
  論文  参考訳（メタデータ） (2026-02-11T04:40:38Z)
• Scaling Agentic Verifier for Competitive Coding [66.11758166379092]
  大規模言語モデル(LLM)は強力なコーディング能力を示しているが、1回の試行で競合するプログラミング問題を正しく解くのに苦戦している。 実行ベースの再ランク付けは、有望なテスト時間スケーリング戦略を提供するが、既存のメソッドは、難しいテストケースの生成または非効率的なランダム入力サンプリングによって制約される。 本稿では,プログラムの動作を積極的に推論し,高い差別性のあるテスト入力を検索するエージェント検証手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T06:30:40Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• CodeContests-O: Powering LLMs via Feedback-Driven Iterative Test Case Generation [71.42965967582147]
  既存のアプローチは、Large Language Models (LLM) を用いたテストケースの合成を試みる 包括的なテストケース構築のために、textbfFeedback-Bench Iterative Framework$を提案します。 私たちのデータセットは、平均的真正率(TPR)が89.37%、真負率(TNR)が90.89%で、CodeContestsとCodeContests+をそれぞれ4.32%、9.37%で大幅に上回っている。
  論文  参考訳（メタデータ） (2026-01-20T07:32:44Z)
• CodeRL+: Improving Code Generation via Reinforcement with Execution Semantics Alignment [98.87395842351627]
  大きな言語モデル(LLM)は、巨大なコードコーパスから学習することで、コード生成において優れています。 テキストパターンのトレーニングと機能的正しさの目標の間には、基本的な意味的ギャップが残っている。 我々は、コード生成のためのRLVRトレーニングパイプラインに実行セマンティクスアライメントを統合する新しいアプローチであるCodeRL+を提案する。
  論文  参考訳（メタデータ） (2025-10-21T09:48:06Z)
• ATGen: Adversarial Reinforcement Learning for Test Case Generation [78.48498301767079]
  大きな言語モデル(LLM)はコード生成に優れていますが、その出力には微妙なバグが伴います。 既存のテスト生成方法は静的データセットに依存している。 我々は,対戦型強化学習を通じてテストケースジェネレータを訓練するフレームワークであるATGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-16T12:49:25Z)
• Klear-CodeTest: Scalable Test Case Generation for Code Reinforcement Learning [43.30900834053253]
  Klear-CodeTestは、厳密な検証機能を備えた総合的なテストケース合成フレームワークで、テストケースの品質と信頼性を保証する。 提案したG-Vフレームワークは,正規ケースとコーナーケースの両方を含む総合的なテストケースを生成し,テストカバレッジと解の正当性評価のための識別力を向上させる。 さらに,オンライン検証プラットフォームに最適化された多層セキュリティサンドボックスシステムを設計し,安全で信頼性の高いコード実行を保証する。
  論文  参考訳（メタデータ） (2025-08-07T07:36:01Z)
• KodCode: A Diverse, Challenging, and Verifiable Synthetic Dataset for Coding [49.56049319037421]
  KodCodeは、高品質で検証可能なトレーニングデータを取得するという永続的な課題に対処する、合成データセットである。 自己検証手順によって体系的に検証される質問解決テスト三つ子を含む。 このパイプラインは大規模で堅牢で多様なコーディングデータセットを生成する。
  論文  参考訳（メタデータ） (2025-03-04T19:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。