論文の概要: SWEPatchTest: Evaluating Software Tests Beyond Reproduction

• arxiv url: http://arxiv.org/abs/2610.18004v1
• Date: Tue, 13 Oct 2026 09:04:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.568335
• Title: SWEPatchTest: Evaluating Software Tests Beyond Reproduction
• Title（参考訳）: SWEPatchTest: 再現性を超えたソフトウェアテストの評価
• Abstract要約: コーディングエージェントは生成されたテストを使用して、提案されたパッチが問題の要件を満たすかどうかを決定する。 SWETESTは,SWE-bench Pro,SWE-bench Multilingual,DeepSWEの619タスクからなるテスト生成ベンチマークである。 ベンチマークは共同で、再現、正しいパッチの受け入れ、間違ったパッチの拒絶を発行する。
• 参考スコア（独自算出の注目度）: 11.869176532482017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding agents use generated tests to decide whether a proposed patch satisfies an issue's requirements. A suite that fails on the buggy program and passes after applying the reference patch can still accept an incorrect patch or reject a correct patch. We introduce SWEPATCHTEST, a test-generation benchmark with 619 tasks from SWE-bench Pro, SWE-bench Multilingual, and DeepSWE and 82,579 candidate patches collected from coding-agent trajectories. By replaying each suite on the buggy and patched codebases, \benchmark jointly measures issue reproduction, acceptance of correct patches, and rejection of incorrect patches. Joint Validation Rate (JVR), which requires all three criteria on the same task, exposes failures hidden by single-reference evaluation: the best-performing configuration achieves only 9.21% JVR despite reproducing the reference transition on 59.29% of tasks. We further use validation scores to select and scale demonstrations for supervised fine-tuning (SFT). The resulting training recipe approximately triples JVR and improves downstream repair across three SWE-bench benchmarks. Patch discrimination thus provides both a diagnostic measure of test quality and an execution-based signal for curating agent training data.
• Abstract（参考訳）: コーディングエージェントは生成されたテストを使用して、提案されたパッチが問題の要件を満たすかどうかを決定する。 バグの多いプログラムでフェールし、参照パッチを適用した後にパスするスイートは、いまだに正しくないパッチを受け入れたり、正しいパッチを拒絶することができる。 SWEPATCHTESTは,SWE-bench Pro,SWE-bench Multilingual,DeepSWEと82,579の候補パッチをコード・エージェント・トラジェクトリから収集した619のタスクからなるテスト生成ベンチマークである。 バグのあるコードベースとパッチされたコードベースで各スイートをリプレイすることで、 \benchmarkは共同で、再現の発行、正しいパッチの受け入れ、間違ったパッチの拒絶を計測する。 同じタスクで3つの基準すべてを必要とするJVR(Joint Validation Rate)は、単一参照評価によって隠された障害を露呈する: 最高のパフォーマンス構成は、59.29%のタスクで参照遷移を再現しているにもかかわらず、9.21%のJVRしか達成していない。 さらに、検証スコアを使用して、教師付き微調整(SFT)のデモを選択し、スケールする。 結果として得られたトレーニングレシピは、JVRをおよそ3倍にし、3つのSWEベンチマークで下流の修復を改善する。 これにより、パッチ判別は、テスト品質の診断尺度と、エージェントトレーニングデータをキュレートするための実行ベース信号の両方を提供する。

関連論文リスト

• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• TestGRAD: Evolving Test Suites via Failure Pattern Momentum for SWE-Agent Ensemble [10.280110470455885]
  SWEエージェントアンサンブルは、異なるエージェントの候補パッチと強度を組み合わせることで、問題解決を改善する。 したがって、テストベースの選択は、テストを生成し、候補パッチを実行し、最適なパッチを識別する。 私たちはこのプロセスをテスト空間最適化として定式化し、競合するパッチを区別するまで実行可能なリポジトリテストスイートを進化させます。 既存のテスト生成メソッドは限られた実行可能量である。通常、アンサンブル選択の明確な損失を欠き、新しいテストの作成や古いテストの削除を主な目的とする不完全な方向を最適化し、繰り返し失敗からのフィードバックなしにワンオフ生成を実行する。
  論文  参考訳（メタデータ） (2026-10-07T15:25:15Z)
• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
  ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。 SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。 各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
  論文  参考訳（メタデータ） (2026-09-03T17:53:34Z)
• Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes [55.114939648705395]
  大規模言語モデル(LLM)は、現実のバグに対して、プログラムの自動修正をますます実用的にしている。 バグ再現テスト(BRT)は、バグレポートを実行可能なバグ固有の信号に変換することで、このギャップを埋めるのに役立つ。 本稿では,ループ内収束基準としてLax信号を用いるコジェネレーションフレームワークであるCoHardenを提案する。
  論文  参考訳（メタデータ） (2026-07-22T07:30:07Z)
• Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents? [15.202813683786337]
  リポジトリレベルのパフォーマンス最適化ベンチマークは、実際のリポジトリにパッチを適用することで、コーディングエージェントを評価する。 リーダボードスコアは、実行時の不安定性、ベンチマーク固有のスコアリングルール、および少なくとも1つの公開提案によってすでに解決されているタスク数を説明できることを示す。 我々は、少なくとも1つの提案が85.3%(384/450)のリプレイバリGSOとSWE-fficiencyタスクで参照パッチと一致し、99.8%(449/450)で最適化されていないベースコードを破ることを発見した。
  論文  参考訳（メタデータ） (2026-07-01T17:50:48Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。