論文の概要: Not All Agents Are Equal: Code Quality and Post-Merge Maintenance Across Five Autonomous Coding Agents in the Wild
- arxiv url: http://arxiv.org/abs/2609.17598v1
- Date: Sat, 12 Sep 2026 19:51:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.451242
- Title: Not All Agents Are Equal: Code Quality and Post-Merge Maintenance Across Five Autonomous Coding Agents in the Wild
- Title（参考訳）: すべてのエージェントが同等であるとは限らない: 野生の5つの自律的コーディングエージェントのコード品質とポストマージメンテナンス
- Abstract要約: 本論文は,5つの商用エージェントから37,623件の証明ラベル付きプルリクエスト(PR)について検討する。
AIDevデータセットと58,792のキャッシュされたGitHub APIレスポンスを組み合わせて、追加コードのセキュリティ臭いを測定します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous coding agents now open pull requests in public repositories at a scale that was out of reach two years ago, yet little is known about what happens to that code after it lands. This paper studies 37,623 provenance-labeled pull requests (PRs) from five commercial agents (OpenAI Codex, Devin, GitHub Copilot, Cursor, and Claude Code) and a matched human baseline, drawn from 2,807 GitHub repositories between December 2024 and July 2025. We combine the AIDev dataset with 58,792 cached GitHub API responses to measure security smells in added code, structural maintainability, post-merge churn, revert rates, and human review behavior. Three results stand out. First, quality differences are vendor-specific rather than uniform: Codex-authored PRs were reverted about half as often as human PRs (6.1% vs. 11.5%, odds ratio 0.50), while Devin PRs were reverted more often (14.5%, odds ratio 1.31). Second, agent code pooled across vendors was less likely than human code to contain a security smell (odds ratio 0.63), driven by fewer hardcoded credentials and eval-style constructs. Third, review effort concentrates unevenly: Copilot PRs drew the most human reviews and change requests, and Claude Code PRs waited the longest for a first human review (median 12.6 hours). All pipeline code, statistical reports, and figures are released for replication.
- Abstract（参考訳）: 自律的なコーディングエージェントが、公開リポジトリのプルリクエストを2年前には届かなかった規模で開くようになった。
本稿は,OpenAI Codex,Devin,GitHub Copilot,Cursor,Claude Codeの5つの商用エージェントと,2024年12月から2025年7月までに2,807のGitHubリポジトリから抽出された一致する人間のベースラインから,37,623のプロフェランスラベル付きプルリクエスト(PR)を調査する。
AIDevデータセットと58,792のキャッシュされたGitHub APIレスポンスを組み合わせることで、追加コードにおけるセキュリティの臭い、構造的メンテナンス性、マージ後のチャーン、リバージョン率、ヒューマンレビューの振る舞いを測定します。
3つの結果が浮き彫りだ。
コーデックスが発行するPRは、人間のPRの約半分(6.1%対11.5%、オッズ比0.50)、デビンPRはより頻繁に(14.5%、オッズ比1.31)。
第2に、ベンダー間でプールされたエージェントコードは、ハードコードされた認証情報が少なくてevalスタイルのコンストラクトによって駆動されるセキュリティの臭い(odds ratio 0.63)を含む人間のコードよりも少ない。
第3に、レビューの努力は不均一に集中し、コパイロットPRは最も人間的なレビューと変更要求を描き、クロードコードPRは最初の人間によるレビューで最長(12.6時間)を待った。
パイプラインコード、統計レポート、数値はすべてレプリケーション用にリリースされている。
関連論文リスト
- Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
Agoraは、自律的な研究ループのための共有メモリである。
研究は追加専用非巡回グラフとして記録されている。
多様性を意識した選択ルールは、コミュニティがひとつのリーダに崩壊しないようにします。
論文 参考訳（メタデータ） (2026-09-16T04:00:54Z) - AI-to-AI Code Reviews of GitHub Pull Requests [0.0]
クロスプロダクティビティのAI-to-AIレビューは、特定エージェント認可PRの約1.6%で実施された。
4例中3例では, PRあたりの平均コメントが58-65%高かった。
全体として、クローズドループのAI-to-AIレビューは増えているが、特定されたエージェント活動の少数派である。
論文 参考訳（メタデータ） (2026-08-21T17:17:35Z) - Habituation at the Gate: Rising Approval and Declining Scrutiny in Human Review of AI Agent Code [7.362328661065831]
観察期間を7ヶ月に分けて再検討した再検討者について検討した。
住民レベルの承認率は30.1%から36.8%に変化している。
このシフトは、経験駆動(カレンダー時間制御後のパーソナリティ)、エージェント固有のレイテンシ(人間のPR承認率が同じ期間で減少する)、PRの難しさ(中間PRサイズは平坦)によって説明されない。
承認の上昇、コメントの努力の減少、待ち時間の増加の組合せは、合理的な信頼のキャリブレーション単独ではなく、作業負荷の増加下での反射的習慣と最も一致している。
論文 参考訳（メタデータ） (2026-06-21T23:38:33Z) - SWE-chat: Coding Agent Interactions From Real Users in the Wild [70.18158706281724]
SWE-chatは、オープンソースの開発者から収集された実際のコーディングエージェントセッションの大規模なデータセットである。
現在、データセットには6000のセッションが含まれており、63,000以上のユーザプロンプトと355,000のエージェントツールコールが含まれている。
論文 参考訳（メタデータ） (2026-04-22T17:08:19Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - How AI Coding Agents Modify Code: A Large-Scale Study of GitHub Pull Requests [0.0]
24,014個の統合エージェントPR(440,295個のコミット)と5,081個のヒトPR(23,242個のコミット)を分析した。
エージェントPRはコミットカウントにおいてヒューマンPRと大きく異なる(Cliffの$= 0.5429$)。
これらの発見は、AIコーディングエージェントがオープンソース開発にどのように貢献するかを、大規模な経験的評価を提供する。
論文 参考訳（メタデータ） (2026-01-24T20:27:04Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - AgentPack: A Dataset of Code Changes, Co-Authored by Agents and Humans [46.56091965723774]
コード編集のための微調整された大きな言語モデルは、一般的にコミットのマイニングやプルリクエストに依存しています。
我々は、Claude Code、OpenAI Codex、Cursor Agentが共著した1.3Mコード編集コーパスであるAgentPackを紹介する。
AgentPackで微調整されたモデルは、以前の人間のみのコミットコーパスで訓練されたモデルより優れていることを示す。
論文 参考訳（メタデータ） (2025-09-26T05:28:22Z) - On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub [6.7302091035327285]
大規模言語モデル(LLM)は、ソフトウェア開発プロセスに統合されつつある。
自律的なAIエージェントを使用して、コードを生成し、人間の介入を最小限に抑えたプルリクエストを提出する能力は、標準のプラクティスになる可能性がある。
エージェントコーディングツールであるClaude Codeを使って生成した567のGitHubプルリクエスト(PR)を、157のオープンソースプロジェクトで実証研究しました。
論文 参考訳（メタデータ） (2025-09-18T08:48:32Z) - RedCode: Risky Code Execution and Generation Benchmark for Code Agents [50.81206098588923]
RedCodeはリスクの高いコード実行と生成のためのベンチマークである。
RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。
RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
論文 参考訳（メタデータ） (2024-11-12T13:30:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。