論文の概要: TestGRAD: Evolving Test Suites via Failure Pattern Momentum for SWE-Agent Ensemble

• arxiv url: http://arxiv.org/abs/2610.10242v1
• Date: Wed, 07 Oct 2026 15:25:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.992168
• Title: TestGRAD: Evolving Test Suites via Failure Pattern Momentum for SWE-Agent Ensemble
• Title（参考訳）: TestGRAD: SWE-Agent Ensembleのための失敗パターンモメンタムによるテストスイートの進化
• Abstract要約: SWEエージェントアンサンブルは、異なるエージェントの候補パッチと強度を組み合わせることで、問題解決を改善する。 したがって、テストベースの選択は、テストを生成し、候補パッチを実行し、最適なパッチを識別する。 私たちはこのプロセスをテスト空間最適化として定式化し、競合するパッチを区別するまで実行可能なリポジトリテストスイートを進化させます。 既存のテスト生成メソッドは限られた実行可能量である。通常、アンサンブル選択の明確な損失を欠き、新しいテストの作成や古いテストの削除を主な目的とする不完全な方向を最適化し、繰り返し失敗からのフィードバックなしにワンオフ生成を実行する。
• 参考スコア（独自算出の注目度）: 10.280110470455885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: SWE-agent ensembles improve issue resolution by combining candidate patches from different agents with complementary strengths. The central problem is therefore test-based selection: generate tests, execute candidate patches, and identify the best patch. We formulate this process as test-space optimization: evolving an executable repository test suite until it distinguishes competing patches. Existing test-generation methods are limited optimizers. They usually lack an explicit loss for ensemble selection, optimize through incomplete directions that mostly create new tests or delete old ones, and perform one-off generation without feedback from repeated failures. Inspired by gradient descent with momentum, we introduce TestGRAD, a framework for automatic test optimization. TestGRAD centers on three concepts. Differential loss gives the optimizer an explicit execution-defined target: useful tests should separate candidate patches by behavior. Full CRUD gradients expand the update direction from merely creating or deleting tests to reading existing test infrastructure, creating new tests, updating stale assertions, and deleting only obsolete tests. Failure Pattern Momentum mines frequent failure sequences from memory, allowing the optimizer to avoid repeated non-discriminative directions while compressing the failure-history context. On SWE-bench Verified, TestGRAD achieves 84.2% Pass@1 with a 4-agent ensemble, outperforming the strongest baseline (80.6%) by an absolute improvement of 3.6 percentage points, while compressing failure-history context by over $100\times$.
• Abstract（参考訳）: SWEエージェントアンサンブルは、異なるエージェントの候補パッチと相補的な強度を組み合わせることで、問題解決を改善する。 したがって、テストベースの選択は、テストを生成し、候補パッチを実行し、最適なパッチを識別する。 私たちはこのプロセスをテスト空間最適化として定式化し、競合するパッチを区別するまで実行可能なリポジトリテストスイートを進化させます。 既存のテスト生成方法は限定的なオプティマイザである。 これらは通常、アンサンブル選択の明確な損失を欠き、新しいテストの作成や古いテストの削除を主な目的とする不完全な方向を最適化し、繰り返し発生する障害からのフィードバックなしにワンオフ生成を実行する。 運動量による勾配降下に触発され,自動テスト最適化のためのフレームワークであるTestGRADを導入する。 TestGRADは3つのコンセプトに重点を置いている。 差分損失は、オプティマイザに明示的な実行定義のターゲットを与える: 有用なテストは、振る舞いによって候補パッチを分離すべきである。 完全なCRUDグラデーションは、単にテストの作成や削除から既存のテストインフラストラクチャの読み込み、新しいテストの作成、古いアサーションの更新、古いテストのみの削除まで、アップデートの方向性を拡張する。 障害パターン Momentum はメモリから頻繁な障害シーケンスをマイニングすることで、障害履歴コンテキストを圧縮しながら、最適化者が繰り返し非差別的な方向を避けることができる。 SWE-bench Verifiedでは、TestGRADは84.2%のPass@1を4エージェントアンサンブルで達成し、3.6ポイントの絶対的な改善で最強のベースライン(80.6%)を上回り、失敗履歴コンテキストを100\times$で圧縮した。

関連論文リスト

• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Breaking, Stale, or Missing? Benchmarking Coding Agents on Project-Level Test Evolution [20.606877071567958]
  テスト進化のための最初のプロジェクトレベルのベンチマークであるTEBenchを紹介します。 TEBenchをDefects4Jプロジェクト上で4段階のパイプラインで構築する。 3つの産業エージェントフレームワークにまたがる7つの構成を評価する。
  論文  参考訳（メタデータ） (2026-05-07T12:31:09Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• When Old Meets New: Evaluating the Impact of Regression Tests on SWE Issue Resolution [8.305144449617883]
  TestPruneは,イシュートラッカレポートを活用して,バグ再現とパッチ検証の両面において,レグレッションテストを戦略的に再利用する,完全に自動化されたテクニックである。 TestPruneは任意のエージェントバグ修正パイプラインにプラグイン可能で、全体的なパフォーマンスが急速に向上する。
  論文  参考訳（メタデータ） (2025-10-21T03:42:28Z)
• AugmenTest: Enhancing Tests with LLM-Driven Oracles [2.159639193866661]
  AugmenTestは、大規模な言語モデルを活用して、テスト中のソフトウェアの利用可能なドキュメントに基づいて、正しいオーラクルを推測するアプローチである。 AugmenTestには4つのバリエーションがある: Simple Prompt、Extended Prompt、ジェネリックプロンプト付きRAG(テスト中のクラスやメソッドのコンテキストなしで)とSimple Prompt付きRAG。 結果は、最も保守的なシナリオでは、AugmenTestのExtended PromptがSimple Promptを一貫して上回り、正しいアサーションを生成するために30%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-01-29T07:45:41Z)
• TestART: Improving LLM-based Unit Testing via Co-evolution of Automated Generation and Repair Iteration [7.509927117191286]
  大規模言語モデル(LLM)は、単体テストケースを生成する際、顕著な能力を示した。 本研究では,新しい単体テスト生成法であるTestARTを提案する。 TestARTは、自動生成と修復の反復の共進化を通じて、LLMベースのユニットテストを改善している。
  論文  参考訳（メタデータ） (2024-08-06T10:52:41Z)
• STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。 本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。 本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:25:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。