論文の概要: Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution
- arxiv url: http://arxiv.org/abs/2610.13563v1
- Date: Fri, 09 Oct 2026 13:17:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.589326
- Title: Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution
- Title（参考訳）: すべての修正が同じように実行されるわけではない:レポジトリレベル問題解決におけるパッチ性能に関する実証的研究
- Abstract要約: 組込みemphFAIL_TO_PASS(F2P)テストがパッチ性能を評価するために再利用可能かどうかを検討する。
本研究では,F2Pテストにおける命令数とウォールクロック時間における各ソリューションの実行時性能を測定し,より堅牢な統計的判別基準として,従来のRSDではなくWelch ANOVAを用いて検討した。
- 参考スコア（独自算出の注目度）: 13.825461315444514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Repository-level issue-resolution benchmarks such as SWE-bench evaluate submitted patches primarily based on whether they pass the correctness tests, leaving the runtime performance of different test-passing patches largely unexplored. Evaluating patch performance is essential but challenging since designing performance workloads for each benchmark instance is costly. However, these benchmarks already provide a natural candidate: the built-in \emph{FAIL\_TO\_PASS} (F2P) tests, which exercise the behavior affected by the issue fix. We therefore investigate whether the provided F2P tests can be repurposed to evaluate patch performance. Overall, we choose four frontier models, Claude Opus~5, GPT~5.6, DeepSeek V4 Pro, and Qwen~3.8 Max, paired with SWE-agent to resolve the pre-filtered measurable corpus from verified splits of SWE-bench and SWE-bench-Live, yielding 262 cases with at least two different correct solutions, including the developer ground-truth patch. We then measure each solution's runtime performance in instruction count and wall-clock time on the native F2P test, and use Welch ANOVA instead of the RSD proposed in prior work as a more robust statistical discrimination criterion. We find that this methodology exhibits notable discrimination capability in runtime performance and identifies performance differences among patches in almost half of the instances. Our empirical study shows that the runtime performance of generated patches is independent of the issue resolution rate of LLMs, with nearly reversed model rankings. The case study also shows that the performance analysis reveals architectural regression in some patches that the correctness evaluation overlooked. These findings suggest that resolution rate does not adequately characterize LLMs' capability for repository-level issue resolution, motivating future evaluations to consider patch performance alongside it.
- Abstract（参考訳）: SWE-benchのようなリポジトリレベルのイシュー解決ベンチマークは、主に正当性テストに合格するかどうかに基づいて、提案されたパッチを評価し、異なるテストパスパッチの実行時のパフォーマンスはほとんど未調査のままである。
ベンチマークインスタンスごとにパフォーマンスワークロードを設計するのはコストがかかるため、パッチのパフォーマンス評価は不可欠だが、難しい。
しかし、これらのベンチマークはすでに自然な候補を提供している: 組み込みの \emph{FAIL\_TO\_PASS} (F2P) テスト。
そこで,提案したF2Pテストがパッチ性能を評価するために再利用可能かどうかを検討する。
全体として、我々は4つのフロンティアモデル(Claude Opus~5, GPT~5.6, DeepSeek V4 Pro, Qwen~3.8 Max)を選択し、SWE-agentと組み合わせて、SWE-benchとSWE-bench-Liveの検証された分割から事前フィルタリング可能なコーパスを解決する。
次に,F2Pテストの命令数とウォールクロック時間における各ソリューションの実行時性能を測定し,より堅牢な統計的判別基準として,以前の研究で提案されたRSDの代わりにWelch ANOVAを使用する。
この手法は実行時のパフォーマンスにおいて顕著な差別能力を示し、ほぼ半数のインスタンスでパッチ間のパフォーマンスの違いを識別する。
我々の実証研究は、生成したパッチのランタイム性能が、ほぼ逆のモデルランキングを持つLLMのイシュー解決率とは無関係であることを示している。
ケーススタディでは、性能解析により、一部のパッチにおいて、正確性評価が見落とされたアーキテクチャ上のレグレッションが明らかにされていることも示している。
これらの結果から,レポジトリレベルの課題解決能力は,レポジトリレベルの課題解決能力に十分対応していないことが示唆された。
関連論文リスト
- TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving [20.264552597118207]
SWE-Serveは、プロダクション推論エンジニアリングタスクのエージェントを評価するためのベンチマークである。
SWE-Serveは、タスクをローカルに完了し、プロダクションの正確性を達成するための大きなギャップを露呈する。
論文 参考訳（メタデータ） (2026-09-22T17:54:59Z) - Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes [55.114939648705395]
大規模言語モデル(LLM)は、現実のバグに対して、プログラムの自動修正をますます実用的にしている。
バグ再現テスト(BRT)は、バグレポートを実行可能なバグ固有の信号に変換することで、このギャップを埋めるのに役立つ。
本稿では,ループ内収束基準としてLax信号を用いるコジェネレーションフレームワークであるCoHardenを提案する。
論文 参考訳（メタデータ） (2026-07-22T07:30:07Z) - PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization [18.924749191192433]
パフォーマンスの最適化は独特なエージェント的タスクである。
本稿では,このフルパフォーマンス・エンジニアリング・ループを評価するベンチマークであるPERFOPT-Benchを紹介する。
論文 参考訳（メタデータ） (2026-07-08T08:32:18Z) - Runtime Execution Traces Guided Automated Program Repair with Multi-Agent Debate [8.424102114588559]
自動プログラム修復(APR)は複雑なロジックエラーとサイレント障害に悩まされる。
現在のLLMベースのAPRメソッドは主に静的であり、ソースコードと基本的なテスト出力に依存している。
我々は、パッチ検証のための共有制約としてランタイム事実を活用するマルチエージェントフレームワークであるTraceRepairを提案する。
論文 参考訳（メタデータ） (2026-04-03T02:23:25Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
DSPy+HELMフレームワークを提案する。
構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。
これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
論文 参考訳（メタデータ） (2025-11-25T20:37:59Z) - SWE-fficiency: Can Language Models Optimize Real-World Repositories on Real Workloads? [22.075705411944895]
SWE-fficiencyは、実際のワークロードにおけるリポジトリレベルのパフォーマンス最適化を評価するためのベンチマークである。
私たちのスイートには、9つの広く使用されているデータサイエンス、機械学習、HPCリポジトリにわたる498のタスクが含まれています。
論文 参考訳（メタデータ） (2025-11-08T17:55:09Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳（メタデータ） (2023-05-23T21:50:06Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳（メタデータ） (2023-01-30T15:54:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。