論文の概要: CodeLift: Your Test Suite Is Secretly a Dense SWE Curriculum

• arxiv url: http://arxiv.org/abs/2610.17224v1
• Date: Mon, 12 Oct 2026 18:00:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:40:43.893171
• Title: CodeLift: Your Test Suite Is Secretly a Dense SWE Curriculum
• Title（参考訳）: CodeLift:テストスイートは秘密裏にSWEカリキュラム
• Abstract要約: 我々は,パスレート報酬を動的に校正する強化学習手法であるCodeLiftを紹介する。 CodeLiftは、同じパッチと同じテストに合格するパッチを終了するテストをグループ化する。 実験によると、CodeLiftはバイナリとパスレートのベースラインよりもpass@1/2/4/8を一貫して改善している。
• 参考スコア（独自算出の注目度）: 12.682973354800557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The pass-all-test binary reward has become a standard recipe for training software engineering agents, but its sparsity eliminates difference of partially correct patches. The test pass-rate is a natural alternative. However, we find that it is not a reliable indicator of patch quality. A functionality being tested can be covered by either one challenging test or one hundred trivial tests, where the majority might be already satisfied pass-to-pass tests. We introduce CodeLift, a reinforcement learning method that dynamically calibrates pass-rate rewards, turning the test suite into an adaptive curriculum. At each iteration, CodeLift groups tests that kill the same patches and patches that pass the same tests, then gives more weight to test groups that fewer patch groups pass. This reduces the impact of majority simple tests and focuses more on what is still challenging. Within each rollout, CodeLift applies the same scoring rule to repository snapshots, assigning credit to useful actions even when later ones introduce regressions. Experiments on SWE benchmarks show that CodeLift consistently improves pass@1/2/4/8 over binary and pass-rate baselines. Analyses show that CodeLift provides dense, stable learning signals and unlocks the inherent curriculum in the test suite.
• Abstract（参考訳）: パスオールテストのバイナリ報酬は、ソフトウェアエンジニアリングエージェントのトレーニングの標準的なレシピとなっているが、そのスパース性は部分的に正しいパッチの差を排除している。 テストパスレートは自然な代替手段です。 しかし、パッチ品質の信頼できる指標ではないことが判明した。 テスト対象の機能は、1つの困難なテストか、100の自明なテストでカバーできる。 我々は、パスレート報酬を動的に校正し、テストスイートを適応的なカリキュラムに変換する強化学習手法であるCodeLiftを紹介する。 各イテレーションにおいて、CodeLiftは、同じパッチと同じテストに合格するパッチを終了するテストをグループ化する。 これにより、大多数の単純なテストの影響を減らし、まだ難しいことに集中します。 ロールアウト毎に、CodeLiftはリポジトリスナップショットに同じスコアリングルールを適用し、後続のスナップショットがレグレッションを導入した場合でも、有効なアクションにクレジットを割り当てる。 SWEベンチマークの実験では、CodeLiftはバイナリとパスレートのベースラインよりもパス@1/2/4/8を一貫して改善している。 分析によると、CodeLiftは密集した安定した学習信号を提供し、テストスイートに固有のカリキュラムをアンロックする。

関連論文リスト

• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• How Far Are We from Detecting Flaky Tests? On the Limits of Code-Based Detection [41.369102837712795]
  燃えるようなテストは同じコードバージョンでパスしてフェールし、テスト結果のシグナルを弱める。 コードベースのフレキネス検出器は強力なベンチマーク結果を報告しているが、実際の使用は限られている。 フレキネスはテストコードの静的な特性ではなく、テストが不安定かどうかを決定するのに必要な情報が欠けていることが多い、と私たちは主張する。
  論文  参考訳（メタデータ） (2026-07-10T12:24:25Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Breaking, Stale, or Missing? Benchmarking Coding Agents on Project-Level Test Evolution [20.606877071567958]
  テスト進化のための最初のプロジェクトレベルのベンチマークであるTEBenchを紹介します。 TEBenchをDefects4Jプロジェクト上で4段階のパイプラインで構築する。 3つの産業エージェントフレームワークにまたがる7つの構成を評価する。
  論文  参考訳（メタデータ） (2026-05-07T12:31:09Z)
• ACES: Who Tests the Tests? Leave-One-Out AUC Consistency for Code Generation [18.62997645875489]
  textbfACES(textbfAUC textbfConsisttextbfEncy textbfScoring) textbfACES(textbfAUC textbfConsisttextbfEncy textbfScoring) textbfACES(textbfAUC textbfAUC textbfScoring)
  論文  参考訳（メタデータ） (2026-04-05T01:15:57Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• Code-A1: Adversarial Evolving of Code LLM and Test LLM via Reinforcement Learning [54.95476453942411]
  コード生成のための強化学習は、単体テストのパスレートから検証可能な報酬に依存する。 最近のセルフプレイ手法は、1つのモデルでコードとテスト生成を統合する。 Code-A1は、人間のアノテーションによるテストでトレーニングされたコード生成のパフォーマンスマッチングまたはモデルを超えることを実現する。
  論文  参考訳（メタデータ） (2026-03-16T17:58:13Z)
• ATGen: Adversarial Reinforcement Learning for Test Case Generation [78.48498301767079]
  大きな言語モデル(LLM)はコード生成に優れていますが、その出力には微妙なバグが伴います。 既存のテスト生成方法は静的データセットに依存している。 我々は,対戦型強化学習を通じてテストケースジェネレータを訓練するフレームワークであるATGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-16T12:49:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。