論文の概要: From Software History to Executable Regression Tasks: A System for Evaluating Software Agents

• arxiv url: http://arxiv.org/abs/2610.25308v1
• Date: Sun, 18 Oct 2026 14:40:58 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:40:07.182298
• Title: From Software History to Executable Regression Tasks: A System for Evaluating Software Agents
• Title（参考訳）: ソフトウェア履歴から実行可能な回帰タスクへ:ソフトウェアエージェントを評価するシステム
• Abstract要約: 本稿では,過去のコミットペアと開発者テストから実行可能な回帰インスタンスを構築するシステムを提案する。 このシステムは、固定側の変更から候補テストを抽出し、制約されたエージェントを使用して移植し、バージョン固有の環境を設定する。 我々は,3つのタスクに対して,手作業で選択した83のインスタンスに対して,10のモデルと追加の推論・実行設定を備えた3つのソフトウェアエージェントを評価した。
• 参考スコア（独自算出の注目度）: 31.285329044029925
• License:
• Abstract: As software agents increasingly generate and modify code, evaluating their ability to review changes and discover defects becomes important. Such evaluation needs executable project environments for investigation and reliable defect references supported by reproducible behavior. Existing code review benchmarks provide limited support for this combination. We present a system that constructs executable regression instances from historical introducing--fixing commit pairs and developer tests. The system extracts candidate tests from fixing-side changes, then uses constrained agents to transplant them and configure version-specific environments while preserving production code and test expectations. Independent replay and evidence-based review verify whether tests that fail on the introducing version and pass on the fixing version support the proposed regression relationship. Accepted instances retain both versions' replay recipes, validated tests, and execution evidence. Repair-supported analysis and human review add root-cause locations, tested repairs, and causal explanations. These instances support bug detection and localization in code review, and enable bug repair and regression-test generation on the same defects. The system constructs 172 validated instances from 522 candidates across 11 Python projects. We evaluate three software agents with ten models and additional reasoning-effort settings on 83 manually selected, enriched instances across the three tasks. Precise root-line localization remains challenging, while baseline combinations achieve repair and regression-test generation success rates of up to 68.7% and 77.1%, respectively. Leading configurations differ by task, and higher task performance does not necessarily yield greater API-cost efficiency. Our approach provides reusable executable evidence for studying agents' defect discovery, repair, and testing capabilities.
• Abstract（参考訳）: ソフトウェアエージェントがコードを生成して修正するにつれて、変更をレビューし、欠陥を発見する能力を評価することが重要になります。 このような評価には、再現可能な振る舞いをサポートする調査や信頼性のある欠陥参照のための実行可能なプロジェクト環境が必要である。 既存のコードレビューベンチマークは、この組み合わせを限定的にサポートしている。 本稿では,コミットペアの修正と開発者テストから実行可能な回帰インスタンスを構築するシステムを提案する。 システムは、固定側の変更から候補テストを抽出し、制約されたエージェントを使用して移植し、製品コードとテスト期待を保ちながら、バージョン固有の環境を設定する。 独立したリプレイとエビデンスベースのレビューは、導入バージョンで失敗し、修正バージョンをパスするテストが提案された回帰関係をサポートするかどうかを検証する。 承認されたインスタンスは、両方のバージョンのリプレイレシピ、検証されたテスト、実行証拠を保持します。 修復支援分析と人間によるレビューは、根本原因の場所、テストされた修復、因果関係の説明を追加します。 これらのインスタンスは、コードレビューにおけるバグ検出とローカライズをサポートし、同じ欠陥に対してバグ修正と回帰テストの生成を可能にする。 このシステムは、11のPythonプロジェクトにわたる522の候補から172の検証済みインスタンスを構成する。 我々は,3つのタスクに対して,手作業で選択した83のインスタンスに対して,10のモデルと追加の推論・実行設定を備えた3つのソフトウェアエージェントを評価した。 正確なルートラインローカライゼーションは依然として困難であり、ベースラインの組み合わせは、それぞれ68.7%と77.1%の修復および回帰テスト生成の成功率を達成する。 設定のリードはタスクによって異なり、高いタスクパフォーマンスは必ずしもAPIコストの効率を向上するとは限らない。 提案手法は, エージェントの欠陥発見, 修復, テスト能力について再利用可能な証拠を提供する。

関連論文リスト

• SCOPE: Selective Certification of Program Edits for Embodied Heuristic Learning [10.256704452551679]
  本稿では,プログラム修正の補完的証拠として,プログラム編集のセレクティブ認定(Selective Certification of Program Edits)を導入する。 SCOPEはシミュレーションと実世界の両方のタスクにおいて最強のベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-10-16T08:33:56Z)
• EviRepair: Evidence-Driven Agents for Reliable Vulnerability Repair [55.22600943144124]
  リポジトリレベルの脆弱性修復のためのエビデンス駆動型マルチエージェントフレームワークであるEviRepairを提案する。 EviRepairは、エージェントが協力して証拠を収集できるようにすることによって、修復プロセスにエビデンスレビューを導入する。 PatchEvalとSecBenchベンチマークの実験は、EviRepairが既存のエージェントベースのベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-10-09T12:22:43Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• Test-Driven Approaches to Software Engineering with Large Language Models: A Survey of Phases, Tasks, and Agent Skills [14.44743150931186]
  テストは、大規模言語モデルとソフトウェアエンジニアリングエージェントによる決定にますます参加します。 意図された振る舞い、プログラムの構築と修復のガイド、候補の選択、制約変換、ソフトウェア分析の実行証拠を提供する。 これらは、テスト駆動開発における描画を使用するが、テスト順序、オラクル可用性、編集可能なアーティファクト、実行の役割は大きく異なる。
  論文  参考訳（メタデータ） (2026-09-10T06:20:22Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
  ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。 SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。 各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
  論文  参考訳（メタデータ） (2026-09-03T17:53:34Z)
• Security Tests as Executable Specifications for LLM Code Generation: Benefits, Trade-offs, and Coverage Limits [14.44743150931186]
  テストが事前に表示されるか、失敗した実行がリビジョンを引き起こすか、失敗が選択され、どのように表現されるかの3つの要素を分離する、制御されたテストフィードバックの足場を開発する。 2,705の軌道、31のタスクインスタンス、3つのセキュアコードベンチマーク、16のCWEカテゴリ、2つのモデルファミリがあり、すべての目に見えるテストが前もって隠れた機能とセキュリティのジョイントの成功を平均19.3%増加させている。 共有候補比較では、構造化されたフィードバック修復は、当初、共同回帰のない80の候補が失敗し、固定された生フィードバック修復83は3つの回帰を引き起こす。
  論文  参考訳（メタデータ） (2026-08-10T15:37:09Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。