Fugu-MT 論文翻訳(概要): Why Are AI Agent Involved Pull Requests (Fix-Related) Remain Unmerged? An Empirical Study

論文の概要: Why Are AI Agent Involved Pull Requests (Fix-Related) Remain Unmerged? An Empirical Study

arxiv url: http://arxiv.org/abs/2602.00164v1
Date: Thu, 29 Jan 2026 22:06:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-03 19:28:33.019181
Title: Why Are AI Agent Involved Pull Requests (Fix-Related) Remain Unmerged? An Empirical Study
Title（参考訳）: AIエージェントのプルリクエストはなぜ未解決なのか? 実証研究
Authors: Khairul Alam, Saikat Mondal, Banani Roy,
Abstract要約: AIDEV POPデータセットから広く使用されている5つのAIコーディングエージェントによって作成された8,106の修正関連PRを分析した。以上の結果から,他のPRによるテストケース障害や,同じ問題に対する事前解決が,非統合の最も一般的な原因であることが示唆された。
参考スコア（独自算出の注目度）: 5.127121704630949
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Autonomous coding agents (e.g., OpenAI Codex, Devin, GitHub Copilot) are increasingly used to generate fix-related pull requests (PRs) in real world software repositories. However, their practical effectiveness depends on whether these contributions are accepted and merged by project maintainers. In this paper, we present an empirical study of AI agent involved fix related PRs, examining both their integration outcomes, latency, and the factors that hinder successful merging. We first analyze 8,106 fix related PRs authored by five widely used AI coding agents from the AIDEV POP dataset to quantify the proportions of PRs that are merged, closed without merging, or remain open. We then conduct a manual qualitative analysis of a statistically significant sample of 326 closed but unmerged PRs, spending approximately 100 person hours to construct a structured catalog of 12 failure reasons. Our results indicate that test case failures and prior resolution of the same issues by other PRs are the most common causes of non integration, whereas build or deployment failures are comparatively rare. Overall, our findings expose key limitations of current AI coding agents in real world settings and highlight directions for their further improvement and for more effective human AI collaboration in software maintenance.
Abstract（参考訳）: 自動コーディングエージェント(OpenAI Codex、Devin、GitHub Copilotなど)は、現実のソフトウェアリポジトリで修正関連プルリクエスト(PR)を生成するために、ますます使用されている。しかし、実際の効果は、これらの貢献がプロジェクトメンテナによって受け入れられ、マージされるかどうかに依存する。本稿では,AIエージェントによる関連するPRの修正に関する実証的研究を行い,統合結果,レイテンシ,マージを阻害する要因について検討する。 AIDEV POPデータセットから広く使用されている5つのAIコーディングエージェントによって作成された8,106の修正関連PRをまず分析し、マージ、クローズ、あるいはオープンのままのPRの割合を定量化する。次に, 統計学的に有意な326個のクローズド・アンマージPRを手動で定性解析し, 約100時間かけて12の故障原因の構造化カタログを構築した。我々の結果は、テストケースの失敗と、他のPRによる同じ問題の事前解決が、非統合の最も一般的な原因であることを示しているが、ビルドやデプロイメントの失敗は比較的稀である。全体として、我々の発見は、現在のAIコーディングエージェントの現実世界における重要な制限を明らかにし、そのさらなる改善と、ソフトウェアメンテナンスにおけるより効果的なヒューマンAIコラボレーションのための方向性を強調します。

関連論文リスト

Let's Make Every Pull Request Meaningful: An Empirical Analysis of Developer and Agentic Pull Requests [0.944838645453772]
AIDevデータセットから収集した40,214個のPRを大規模に分析した。 6家系にまたがる64の特徴を抽出し,人間とエージェントのPRのPRマージ結果を比較するため,統計的回帰モデルに適合する。以上の結果から, 提案者属性が両者のマージ結果に支配的であり, レビュー関連特徴は人間とエージェントPRの対比効果を示した。
論文参考訳（メタデータ） (2026-01-26T18:16:10Z)
Where Do AI Coding Agents Fail? An Empirical Study of Failed Agentic Pull Requests in GitHub [5.808464460707249]
われわれはGitHub全体で5人のコーディングエージェントが作成した33kエージェントのPRを大規模に調査している。まず,4次元のPRを定量的に特徴付ける。マージされていないPRは、より大きなコード変更を伴い、より多くのファイルに触れる傾向があり、プロジェクトのCI/CDパイプライン検証に合格しないことが多い。
論文参考訳（メタデータ） (2026-01-21T17:12:46Z)
On Autopilot? An Empirical Study of Human-AI Teaming and Review Practices in Open Source [11.412808537439973]
プロジェクトレベルのガイドラインとAI支援プルリクエスト(PR)との開発者のインタラクションについて検討した。 AIが共著するPRの67.5%以上が、コードオーナシップのないコントリビュータから生まれています。非オーナーの開発者が最もフィードバックを受けられるような、人間が作ったPRとは対照的に、非オーナーのAI共著のPRは最小限のフィードバックを受け取っている。
論文参考訳（メタデータ） (2026-01-20T09:09:53Z)
Early-Stage Prediction of Review Effort in AI-Generated Pull Requests [0.0]
我々は,2,807リポジトリにわたるAIDevデータセットから,エージェントによるPR33,707件を分析した。本稿では,高解像度PRを生成時に予測するサーキットブレーカートリアージモデルを提案する。
論文参考訳（メタデータ） (2026-01-02T17:18:01Z)
Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。モデル、足場、ベンチマークにまたがる3次元解析を行う。私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文参考訳（メタデータ） (2025-10-13T22:22:28Z)
Barbarians at the Gate: How AI is Upending Systems Research [58.95406995634148]
システム研究は、新しいパフォーマンス指向アルゴリズムの設計と評価に長年注力してきたが、AI駆動のソリューション発見には特に適している、と私たちは主張する。このアプローチをAI駆動システム研究(ADRS)と呼び、ソリューションを反復的に生成し、評価し、洗練する。我々の研究結果は、AI時代のシステム研究の実践に急激な適応の必要性と破壊的な可能性を浮き彫りにしている。
論文参考訳（メタデータ） (2025-10-07T17:49:24Z)
Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文参考訳（メタデータ） (2025-09-25T14:05:55Z)
On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub [6.7302091035327285]
大規模言語モデル(LLM)は、ソフトウェア開発プロセスに統合されつつある。自律的なAIエージェントを使用して、コードを生成し、人間の介入を最小限に抑えたプルリクエストを提出する能力は、標準のプラクティスになる可能性がある。エージェントコーディングツールであるClaude Codeを使って生成した567のGitHubプルリクエスト(PR)を、157のオープンソースプロジェクトで実証研究しました。
論文参考訳（メタデータ） (2025-09-18T08:48:32Z)
Agent KB: Leveraging Cross-Domain Experience for Agentic Problem Solving [62.71545696485824]
我々は,異種エージェントフレームワーク間のシームレスな体験共有を可能にするユニバーサルメモリ基盤であるAgent KBを紹介した。 Agent KBはトラジェクトリを構造化知識ベースに集約し、軽量APIを提供する。我々は,GAIA,Humanity's Last Exam,GPQA,SWE-benchなどの主要フレームワークにまたがるエージェントを検証した。
論文参考訳（メタデータ） (2025-07-08T17:59:22Z)
When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
論文参考訳（メタデータ） (2025-02-21T02:24:43Z)
Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
論文参考訳（メタデータ） (2023-12-22T17:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。