論文の概要: Beyond Resolution Rates: Behavioral Drivers of Coding Agent Success and Failure

• arxiv url: http://arxiv.org/abs/2604.02547v1
• Date: Thu, 02 Apr 2026 21:56:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.223718
• Title: Beyond Resolution Rates: Behavioral Drivers of Coding Agent Success and Failure
• Title（参考訳）: 解決率を超える: コーディングエージェントの成功と失敗の行動的ドライバ
• Authors: Tural Mehtiyev, Wesley Assunção,
• Abstract要約: コーディングエージェントは、大規模言語モデルの推論能力とツール強化された対話ループを組み合わせた、自動化されたソフトウェアエンジニアリングにおける新しいパラダイムを表している。 トップランクのLLMベースのコーディングエージェントは、ベンチマークされた問題の20%以上で依然として失敗している。 本研究は,500件のタスクにおいて,19件のエージェントから9,374件のトラジェクトリを分析した大規模な実証研究である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding agents represent a new paradigm in automated software engineering, combining the reasoning capabilities of Large Language Models (LLMs) with tool-augmented interaction loops. However, coding agents still have severe limitations. Top-ranked LLM-based coding agents still fail on over 20% of benchmarked problems. Yet, we lack a systematic understanding of why (i.e., the causes) agents fail, and how failure unfolds behaviorally. We present a large-scale empirical study analyzing 9,374 trajectories from 19 agents (8 coding agent frameworks, 14 LLMs) on 500 tasks. We organize our analysis around three research questions. First, we investigate why agents fail on specific tasks and find that patch complexity alone does not explain difficulty: 12 never-solved tasks require only simple patches and were considered easy by human annotators, yet all agents fail due to gaps in architectural reasoning and domain knowledge. Second, we examine how behavioral patterns differentiate success from failure. The widely reported correlation between trajectory length and failure reverses direction once task difficulty is controlled, revealing it as a confound. Instead, trajectory structure discriminates consistently: agents that gather context before editing and invest in validation succeed more often, and these strategies are agent-determined rather than task-adaptive. Third, we disentangle LLM capability from framework design and find that the LLM is the primary driver of both outcome and behavior: agents sharing the same LLM agree on far more tasks than agents sharing the same framework, and the framework performance gap shrinks with each generation of LLM improvement. Framework prompts do influence agent tactics, but this influence diminishes with stronger LLMs.
• Abstract（参考訳）: コーディングエージェントは、LLM(Large Language Models)の推論機能とツール強化された対話ループを組み合わせた、自動化ソフトウェアエンジニアリングにおける新しいパラダイムを表している。 しかし、コーディングエージェントには依然として厳しい制限がある。 トップランクのLLMベースのコーディングエージェントは、ベンチマークされた問題の20%以上で依然として失敗している。 しかし、なぜ(原因)エージェントが失敗するのか、どのように失敗が振舞うのかという体系的な理解が欠如している。 本研究は,500のタスクにおいて,19のエージェント(コーディングエージェントフレームワーク8,LSM14)から9,374のトラジェクトリを解析した大規模実証研究である。 3つの研究課題に関する分析を整理する。 12の未解決タスクは単純なパッチしか必要とせず、人間のアノテータによって簡単に見なされたが、すべてのエージェントはアーキテクチャの推論とドメイン知識のギャップのために失敗する。 第二に、行動パターンが成功と失敗を区別する方法について検討する。 タスクの難易度が制御されると、軌道長と故障の相関関係が逆転し、それが不確実性であることが広く報告されている。 編集前にコンテキストを収集し、検証に投資するエージェントは、より頻繁に成功し、これらの戦略はタスク適応よりもエージェント決定される。 第3に、LLMの機能をフレームワーク設計から切り離し、LLMが結果と振舞いの両方の主要な要因であることを見出した。同じLLMを共有するエージェントは、同じフレームワークを共有するエージェントよりもはるかに多くのタスクに合意し、フレームワークのパフォーマンスギャップは、LLMの改善の世代ごとに減少する。 フレームワークはエージェントの戦術に影響を及ぼすが、この影響は強力なLSMによって減少する。

関連論文リスト

• Understanding Code Agent Behaviour: An Empirical Study of Success and Failure Trajectories [10.751728274263536]
  本稿では,エージェントのトラジェクトリ,すなわちソフトウェア問題の解決に際し,エージェントが行うステップを捉えた実行トレースについて,実証的研究を行う。 我々は、SWE-Benchベンチマークで、最先端の3つのコードエージェント(OpenHands、SWE-agent、Prometheus)の軌跡を分析し、成功と失敗の両方について検討した。
  論文  参考訳（メタデータ） (2025-10-31T18:58:13Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
  MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。 我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。 MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
  論文  参考訳（メタデータ） (2025-03-17T19:04:38Z)
• When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
  我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。 タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
  論文  参考訳（メタデータ） (2025-02-21T02:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。