論文の概要: Understanding the Rejection of Fixes Generated by Agentic Pull Requests -- Insights from the AIDev Dataset
- arxiv url: http://arxiv.org/abs/2606.13468v1
- Date: Thu, 11 Jun 2026 15:19:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.882433
- Title: Understanding the Rejection of Fixes Generated by Agentic Pull Requests -- Insights from the AIDev Dataset
- Title（参考訳）: エージェントプル要求による修正の拒絶の理解 -AIDevデータセットからの考察-
- Authors: Mahmoud Abujadallah, Ali Arabat, Mohammed Sayagh,
- Abstract要約: コパイロット、デビン、カーソル、クロードの修正案の46.41%が拒絶されていることが判明した。
本稿の目的は、AIエージェントを効率的なチームメイトとして統合するための重要な理解である、AIエージェントの障害モードを理解することです。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI coding agents are increasingly used to generate pull requests (PRs) that propose code fixes in software projects. From a first exploration of the AIDev dataset, we find that 46.41\% of the fixes proposed by the agents Copilot, Devin, Cursor, and Claude are rejected. This represents a significant amount of wasted resources that require human reviews, verifications, and running tests and validations for fixes that are merely discarded. Our goal in this paper is to understand the failure modes of AI-agents, an understanding that is crucial for better integrating AI-agents as efficient teammates. In this paper, we conduct a qualitative study on a representative sample of 306 non-merged pull requests created or co-authored by the agents mentioned earlier, followed by a quantitative analysis of the reasons for rejection. Our qualitative findings identify 14 reasons divided into four high-level categories for rejecting AI-agent fixes. We observe that developers can reject fixes due to fixes whose implementation is incorrect (e.g., incomplete, wrong approach), fixes that do not pass the continuous integration (CI) pipelines and fail tests, fixes for which the agent is unable to perform the implementation (e.g., no code generated, sessions lost), and fixes whose priority is low. Our results shed light on the importance of better guiding the model at these levels: (1) proposing hints about the approach to follow for fixing an issue, (2) outlining constraints or limitations regarding the approaches that should not be taken, and (3) instructing the agent on how to validate the implementation through CI pipelines and without introducing a breaking change. Our results suggest the need for good prioritization of tasks so that generated fixes do not lead to wasted human review efforts or wasted agent resources (e.g., tokens, compute, or allowed number of requests).
- Abstract（参考訳）: AIコーディングエージェントは、ソフトウェアプロジェクトでコード修正を提案するプルリクエスト(PR)を生成するために、ますます使われています。
AIDevデータセットの最初の調査から、コパイロット、デビン、カーソル、クロードが提案した修正の46.41\%が拒絶されていることが判明した。
これは、人間のレビュー、検証、そして単に破棄された修正のためのテストとバリデーションの実行を必要とするかなりの量の無駄なリソースを表している。
本稿の目的は、AIエージェントを効率的なチームメイトとして統合するための重要な理解である、AIエージェントの障害モードを理解することです。
本稿では,前述したエージェントが作成した,あるいは共著した306件の非マージプルリクエストの代表例について質的研究を行い,拒絶理由の定量的解析を行った。
定性的な発見は、AIエージェント修正を拒否する上位4つのカテゴリに14の理由を分類した。
実装が正しくない修正(例えば、不完全で間違ったアプローチ)、継続的インテグレーション(CI)パイプラインとフェールテストに合格しない修正、エージェントが実装を実行できない修正(例えば、コードが生成されず、セッションが失われる)、優先度の低い修正によって、開発者は修正を拒否できる。
1)問題を修正するためのアプローチに関するヒントを提案し、(2)取るべきでないアプローチに関する制約や制限を概説し、(3)CIパイプラインを通じて、破壊的な変更を導入することなく、実装の検証方法をエージェントに指示する。
我々の結果は、生成された修正が人間のレビューやエージェントリソース(トークン、計算、許可されたリクエスト数など)を無駄にしないよう、タスクの適切な優先順位付けの必要性を示唆している。
関連論文リスト
- AgentV-RL: Scaling Reward Modeling with Agentic Verifier [63.55502685076245]
試験時間スケーリング(TTS)によるLCM推論を強化する検証器が実証されている。
本稿では,報酬モデリングを多ターンツール拡張型検討プロセスに変換するフレームワークであるエージェント検証を提案する。
Agentic Verifier は並列およびシーケンシャルTS の両方で一貫した性能向上が得られることを示す。
論文 参考訳（メタデータ） (2026-04-17T12:27:36Z) - Why Agentic-PRs Get Rejected: A Comparative Study of Coding Agents [0.0]
本稿では,コーディングエージェント(Agentic-PRs)を用いたプルリクエストが,エージェントとしてラベル付けされていないPR(Human-PRs)よりも少ない頻度で受け入れられていることを示す。
拒否されたPRの多くは明確なフィードバックを欠いているため、拒否理由を決定するのが困難である。
論文 参考訳（メタデータ） (2026-02-04T05:24:18Z) - Why Are AI Agent Involved Pull Requests (Fix-Related) Remain Unmerged? An Empirical Study [5.127121704630949]
AIDEV POPデータセットから広く使用されている5つのAIコーディングエージェントによって作成された8,106の修正関連PRを分析した。
以上の結果から,他のPRによるテストケース障害や,同じ問題に対する事前解決が,非統合の最も一般的な原因であることが示唆された。
論文 参考訳（メタデータ） (2026-01-29T22:06:58Z) - Where Do AI Coding Agents Fail? An Empirical Study of Failed Agentic Pull Requests in GitHub [5.808464460707249]
われわれはGitHub全体で5人のコーディングエージェントが作成した33kエージェントのPRを大規模に調査している。
まず,4次元のPRを定量的に特徴付ける。
マージされていないPRは、より大きなコード変更を伴い、より多くのファイルに触れる傾向があり、プロジェクトのCI/CDパイプライン検証に合格しないことが多い。
論文 参考訳（メタデータ） (2026-01-21T17:12:46Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳（メタデータ） (2025-04-30T23:09:44Z) - AI Agents That Matter [11.794931453828974]
AIエージェントはエキサイティングな新しい研究方向であり、エージェント開発はベンチマークによって駆動される。
他のメトリクスに注意せずに正確性に焦点が当てられている。
モデルと下流の開発者のベンチマークの必要性が混じり合っている。
多くのエージェントベンチマークはホールトアウトセットが不十分であり、時にはまったくない。
論文 参考訳（メタデータ） (2024-07-01T17:48:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。