論文の概要: TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution

• arxiv url: http://arxiv.org/abs/2610.10619v1
• Date: Wed, 07 Oct 2026 07:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.570529
• Title: TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution
• Title（参考訳）: TestJack: コーディングベンチマークの結果を信頼すべきなのでしょうか?
• Abstract要約: 大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
• 参考スコア（独自算出の注目度）: 56.4111102268819
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language model (LLM) agents are rapidly reshaping software engineering, accompanied by an explosion of new code benchmarks. Yet nearly all existing benchmarks still rely on the same decades-old criterion: a solution is correct if it passes a fixed set of unit tests. Such tests are often insufficient: they check only part of what the task requires, so agents can reward hack them or silently miss required behavior while still passing every test. As a result, higher benchmark scores may partly reflect better adaptation to the evaluator rather than better problem solving. Existing works focus on static test augmentation: they strengthen each task's tests once, before any trial is seen, and thus overlook how real trials actually fail. We introduce TestJack, a scalable framework for evaluating patches beyond fixed tests. For each trial, TestJack generates tests targeting prompt requirements the patch may violate, retains only tests passed by the ground-truth patch, and re-examines any trial failures. Each confirmed failure is thus supported by a replayable test. To reduce evaluation cost, we also introduce a lightweight variant which audits a random sample of trials in depth and reuses the resulting tests across all trials for the same task. Across 6 frontier model backends and 5 benchmarks such as DeepSWE and SWE Marathon, we find that about 34.4% of the model trials currently judged correct violate the task requirements, lowering the overall resolution rate from 50.6% to 33.2%. Our results reveal a fundamental limitation of current coding-agent evaluation: as LLMs become better at optimizing against fixed evaluators, those evaluators themselves must become more adaptive.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、新しいコードベンチマークの爆発とともに、ソフトウェアエンジニアリングを急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 これらのテストは、タスクの必要な部分のみをチェックするため、エージェントは、すべてのテストをパスしながら、それらをハックしたり、必要な振る舞いを静かに見逃したりすることができる。 その結果、より高いベンチマークスコアは、より優れた問題解決よりも、評価器への適応性の向上を反映している可能性がある。 既存の作業は静的なテスト拡張に重点を置いている。各タスクのテストを一度だけ強化し、トライアルを見る前に、実際のトライアルが実際に失敗するかを見落としている。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。 それぞれのトライアルにおいて、TestJackは、パッチが違反する可能性のある要件のプロンプトをターゲットとしたテストを生成し、グラウントトルースパッチでパスされたテストのみを保持し、トライアル失敗を再検査する。 これにより、確認された各障害は再生可能なテストによってサポートされる。 また,評価コストを低減するために,ランダムな試行のサンプルを詳細に監査し,同一タスクに対する全ての試行を再利用する軽量な変種を導入する。 6つのフロンティアモデルのバックエンドとDeepSWEやSWE Marathonのような5つのベンチマークで、現在判断されているモデルの約34.4%がタスク要求に正しく違反し、全体的な解決率は50.6%から33.2%に低下していることがわかった。 LLMが固定評価器に対して最適化するほど、それらの評価器自体が適応性を高めなければならない。

関連論文リスト

• TestPrism: Rethinking Test Evaluation Beyond a Single Reference [31.934559142745]
  大規模言語モデル(LLM)コーディングエージェントは、様々なプログラミングタスクにまたがる高度なテスト生成を持つ。 我々は17のソースから300のテストタスクと3000の候補実装からなるTestPrismを紹介し、有効と無効のソリューションを均等に分割する。 分析の結果,動作の欠如,アサーションの欠如,テスト構築の不良が判明した。
  論文  参考訳（メタデータ） (2026-10-08T16:44:39Z)
• TestGRAD: Evolving Test Suites via Failure Pattern Momentum for SWE-Agent Ensemble [10.280110470455885]
  SWEエージェントアンサンブルは、異なるエージェントの候補パッチと強度を組み合わせることで、問題解決を改善する。 したがって、テストベースの選択は、テストを生成し、候補パッチを実行し、最適なパッチを識別する。 私たちはこのプロセスをテスト空間最適化として定式化し、競合するパッチを区別するまで実行可能なリポジトリテストスイートを進化させます。 既存のテスト生成メソッドは限られた実行可能量である。通常、アンサンブル選択の明確な損失を欠き、新しいテストの作成や古いテストの削除を主な目的とする不完全な方向を最適化し、繰り返し失敗からのフィードバックなしにワンオフ生成を実行する。
  論文  参考訳（メタデータ） (2026-10-07T15:25:15Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• Breaking, Stale, or Missing? Benchmarking Coding Agents on Project-Level Test Evolution [20.606877071567958]
  テスト進化のための最初のプロジェクトレベルのベンチマークであるTEBenchを紹介します。 TEBenchをDefects4Jプロジェクト上で4段階のパイプラインで構築する。 3つの産業エージェントフレームワークにまたがる7つの構成を評価する。
  論文  参考訳（メタデータ） (2026-05-07T12:31:09Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• Nexus: Execution-Grounded Multi-Agent Test Oracle Synthesis [57.40527331817245]
  非回帰テストにおけるテストオラクル生成は、ソフトウェア工学における長年の課題である。 この課題に対処するための新しいマルチエージェントフレームワークであるNexusを紹介します。
  論文  参考訳（メタデータ） (2025-10-30T12:20:25Z)
• ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
  タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。 我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。 実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
  論文  参考訳（メタデータ） (2025-10-23T06:58:32Z)
• TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark [24.14654309612826]
  TestGenEvalは、1,210のコードから68,647のテストと、11の保守されたPythonリポジトリにまたがるテストファイルペアで構成されている。 初期テストのオーサリング、テストスイートの補完、コードカバレッジの改善をカバーしている。 パラメータは7Bから405Bまで様々である。
  論文  参考訳（メタデータ） (2024-10-01T14:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。