論文の概要: Merged, Not Measured: An Empirical Study of Performance Issues Fixed by Coding Agents
- arxiv url: http://arxiv.org/abs/2609.37985v1
- Date: Tue, 29 Sep 2026 16:48:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.753341
- Title: Merged, Not Measured: An Empirical Study of Performance Issues Fixed by Coding Agents
- Title（参考訳）: マージによる非測定:符号化エージェントによる性能問題に関する実証的研究
- Abstract要約: コーディングエージェントは、ソフトウェアをスピードアップすると主張するプルリクエスト(PR)を開く。
AIDev v4の71,677のエージェントPRから,582リポジトリの6エージェントによって修正された1,262のパフォーマンス問題を選択する。
私たちは各問題とそのテストをコーディングし、23の拒否と30の合併修正を再実行しました。
- 参考スコア（独自算出の注目度）: 8.274315021391745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding agents open pull requests (PRs) that claim to speed up software, but studies of human performance fixes say little about how maintainers respond to such a fix or whether its claim holds. From the 71,677 agent PRs of AIDev v4, a text filter and codebook coding by language models and by the authors select 1,262 performance issues fixed by six agents in 582 repositories. We code each issue and its tests and re-execute 23 rejected and 30 merged fixes. (1) 57% of closed fixes are merged, 61% of rejections give no stated reason, and only 6 of the 23 re-executed rejected claims held under our three-run pilot on mostly agent-built workloads. (2) Acceptance rises with the agent's track record in the repository (31-37% to 70%) and with the repository's pre-opening merge rate on its other agent PRs (33% to 84%). Merged fixes delete a larger share of the lines they change (0.26 versus 0.15), a difference that holds within agent and within repository, with no such difference detected in the coded content, description, tests or measurements. (3) Repeated computation and redundant data processing cause 44% of the issues, and 46% of fixes are architectural-level. (4) Agents change tests in 37% of fixes and 11% carry a performance test or benchmark; of the 30 merged fixes, 18 met our delivery criterion, 3 fell short of the claim, 9 showed no significant gain or regressed, and 14 change behavior on untested inputs. The outcome tracks the repository's history with the agent rather than the coded content of the fix, and a merge does not show that the fix delivers what it claims.
- Abstract（参考訳）: コーディングエージェントは、ソフトウェアをスピードアップすると主張するプルリクエスト(PR)をオープンするが、人間のパフォーマンス修正の研究は、メンテナがこのような修正にどのように反応するか、あるいはその要求が成立するかについてはほとんど言及していない。
AIDev v4の71,677エージェントPRから、言語モデルによるテキストフィルタとコードブックのコーディング、および著者による582リポジトリの6エージェントによって修正された1,262のパフォーマンス問題を選択する。
私たちは各問題とそのテストをコーディングし、23の拒否と30の合併修正を再実行しました。
1) クローズドフィックスの57%がマージされ、61%の拒絶が明確な理由を示さず、23件のうち6件のみがエージェント構築の作業で3回実施されている。
2)リポジトリ内のエージェントのトラック記録(31～37%～70%)と,他のエージェントPRのオープンマージレート(33%～84%)によってアクセプタンスが上昇する。
マージされた修正は、変更した行のより大きなシェア(0.26対0.15)を削除します。
(3) 繰り返し計算と冗長なデータ処理は問題の44%、修正の46%がアーキテクチャレベルである。
(4) エージェントは修正の37%でテストを変更し、11%がパフォーマンステストまたはベンチマークを実行し、30のマージされた修正のうち18はデリバリ基準を満たし、18は要求に届かなかった。
その結果は、修正のコード化された内容ではなく、エージェントでリポジトリの履歴を追跡する。
関連論文リスト
- ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。
報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。
本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
論文 参考訳（メタデータ） (2026-08-09T22:59:13Z) - Claim Plane: Reliability Gains and the Limits of Selective Concurrency for Parallel Coding Agents: A 30-Pair, Three-Seed Confirmatory Study of Deterministic Pre-Write Admission [1.4721615285883427]
Claim Plane氏は、この障害モードを、バージョン管理された変更意図に対する決定論的事前書込みとして扱う。
静的クレームプレーンは、制約のない並列実行の下でペアパスを23.3%から50.0%に引き上げた。
動的入院はより選択的であり、66.7%の紛争事件と13.3%のクリーンケースを連行したが、90件の処刑のうち46件は未宣言の範囲で閉鎖された。
論文 参考訳（メタデータ） (2026-08-02T02:56:49Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - AI Agent Pull Requests on GitHub: Frequency, Structure, and Merge Conflict Rates [0.0]
本稿では, AIDev-pop データセット (33,596 PR, 2,807 リポジトリ) を用いて,エージェントが作成する PR を用いた並列送信の実証的研究を行った。
共活性PRペアの大多数(ほとんどはエージェント内で作成されている)では、どちらのPRも同一のエージェントで作成されている。
論文 参考訳（メタデータ） (2026-07-06T05:58:12Z) - Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks [0.0]
他のエージェントやエンジニアが残した部分的な状態からタスクを中断し、再割り当てし、レビューし、再開するからです。
前任者の作業が不透明あるいは不完全である場合に課される再検討コスト。
我々の乗っ取りプロトコルは、決定論的ハンドオフポイントで符号化エージェントを中断し、リポジトリを凍結し、4つのハンドオフビューで後継エージェントを評価する。
論文 参考訳（メタデータ） (2026-06-01T20:40:38Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳（メタデータ） (2026-05-27T19:57:15Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。