論文の概要: Unveiling Pitfalls: Understanding Why AI-driven Code Agents Fail at GitHub Issue Resolution

• arxiv url: http://arxiv.org/abs/2503.12374v2
• Date: Wed, 19 Mar 2025 10:08:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 12:01:08.759921
• Title: Unveiling Pitfalls: Understanding Why AI-driven Code Agents Fail at GitHub Issue Resolution
• Title（参考訳）: 落とし穴を解き明かす:GitHubの課題解決でAI駆動のコードエージェントが失敗する理由を理解する
• Authors: Zhi Chen, Wei Ma, Lingxiao Jiang,
• Abstract要約: 問題解決フェーズにおけるPythonの実行エラーは、低解像度率と推論オーバーヘッドの増加と相関している。 私たちは、ModuleNotFoundErrorやTypeErrorのような最も一般的なエラーを特定し、OSErrorやデータベース関連の問題のような特に困難なエラーを強調しました。
• 参考スコア（独自算出の注目度）: 22.03052751722933
• License:
• Abstract: AI-driven software development has rapidly advanced with the emergence of software development agents that leverage large language models (LLMs) to tackle complex, repository-level software engineering tasks. These agents go beyond just generation of final code; they engage in multi-step reasoning, utilize various tools for code modification and debugging, and interact with execution environments to diagnose and iteratively resolve issues. However, most existing evaluations focus primarily on static analyses of final code outputs, yielding limited insights into the agents' dynamic problem-solving processes. To fill this gap, we conduct an in-depth empirical study on 3,977 solving-phase trajectories and 3,931 testing-phase logs from 8 top-ranked agents evaluated on 500 GitHub issues in the SWE-Bench benchmark. Our exploratory analysis shows that Python execution errors during the issue resolution phase correlate with lower resolution rates and increased reasoning overheads. We have identified the most prevalent errors -- such as ModuleNotFoundError and TypeError -- and highlighted particularly challenging errors like OSError and database-related issues (e.g., IntegrityError) that demand significantly more debugging effort. Furthermore, we have discovered 3 bugs in the SWE-Bench platform that affect benchmark fairness and accuracy; these issues have been reported to and confirmed by the maintainers. To promote transparency and foster future research, we publicly share our datasets and analysis scripts.
• Abstract（参考訳）: AI駆動ソフトウェア開発は、大規模言語モデル(LLM)を活用して複雑なリポジトリレベルのソフトウェアエンジニアリングタスクに取り組むソフトウェア開発エージェントの出現によって、急速に進歩している。 これらのエージェントは最終コードの生成に留まらず、多段階の推論に従事し、コード修正やデバッグにさまざまなツールを使用し、実行環境と対話して問題を診断し、反復的に解決する。 しかし、既存の評価のほとんどは最終コード出力の静的解析に重点を置いており、エージェントの動的問題解決プロセスに対する限られた洞察を与えている。 このギャップを埋めるために、SWE-Benchベンチマークで500のGitHub問題で評価された8つのトップランクエージェントから3,977の解決フェーズ軌跡と3,931のテストフェーズログを詳細に調査した。 探索分析の結果,課題解決フェーズにおけるPythonの実行エラーは,低解像度率と推論オーバーヘッドの増加と相関していることがわかった。 ModuleNotFoundErrorやTypeErrorといった最も一般的なエラーを特定し、OSErrorのような特に困難なエラーと、よりデバッグ作業を必要とするデータベース関連の問題(例えばIntegityError)を強調しました。 さらに、ベンチマークの公正性と正確性に影響を与えるSWE-Benchプラットフォームに3つのバグが見つかった。 透明性を促進し、将来の研究を促進するために、データセットと分析スクリプトを公開しています。

関連論文リスト

• Evaluating Software Development Agents: Patch Patterns, Code Quality, and Issue Complexity in Real-World GitHub Scenarios [13.949319911378826]
  この調査は、500の現実のGitHubイシューで上位10のエージェントから4,892のパッチを評価した。 一人のエージェントが支配的であり、170の問題が未解決であり、改善の余地があった。 ほとんどのエージェントはコードの信頼性とセキュリティを維持し、新しいバグや脆弱性を避けた。 一部のエージェントはコードの複雑さを増し、多くの重複を減らし、コードの臭いを最小限にした。
  論文  参考訳（メタデータ） (2024-10-16T11:33:57Z)
• REDO: Execution-Free Runtime Error Detection for COding Agents [3.9903610503301072]
  Execution-free Error Detection for Coding Agents (REDO)は、実行時のエラーと静的解析ツールを統合する方法である。 我々はREDOが11.0%の精度と9.1%の重み付きF1スコアを達成し、最先端の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-10-10T18:06:29Z)
• MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
  大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。 ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。 3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-18T00:58:41Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Leveraging Large Language Models for Efficient Failure Analysis in Game Development [47.618236610219554]
  本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。 このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。 当社のアプローチは新たに作成したデータセットで71%の精度に達しています。
  論文  参考訳（メタデータ） (2024-06-11T09:21:50Z)
• How to Understand Whole Software Repository? [64.19431011897515]
  リポジトリ全体に対する優れた理解は、自動ソフトウェアエンジニアリング(ASE)への重要な道になるでしょう。 本研究では,リポジトリ全体を包括的に理解するためのエージェントによるRepoUnderstanderという新しい手法を開発した。 リポジトリレベルの知識をより活用するために、エージェントをまとめ、分析し、計画する。
  論文  参考訳（メタデータ） (2024-06-03T15:20:06Z)
• A Unified Debugging Approach via LLM-Based Multi-Agent Synergy [39.11825182386288]
  FixAgentはマルチエージェントのシナジーによる統合デバッグのためのエンドツーエンドフレームワークである。 1.25$times$ 2.56$times$レポレベルのベンチマークであるDefects4Jのバグを修正した。
  論文  参考訳（メタデータ） (2024-04-26T04:55:35Z)
• SWE-bench: Can Language Models Resolve Real-World GitHub Issues? [80.52201658231895]
  SWE-benchは、実際のGitHub問題から引き出された2,294ドルのソフトウェアエンジニアリング問題と、人気のあるPythonリポジトリ12ドルのプルリクエストで構成される評価フレームワークである。 我々は、最先端のプロプライエタリモデルと微調整モデルSWE-Llamaの両方が、最も単純な問題だけを解決できることを示します。
  論文  参考訳（メタデータ） (2023-10-10T16:47:29Z)
• ADPTriage: Approximate Dynamic Programming for Bug Triage [0.0]
  オンラインバグトリアージタスクのためのマルコフ決定プロセス(MDP)モデルを開発した。 私たちはADPTriageと呼ばれるADPベースのバグトリアージソリューションを提供しています。 以上の結果から, 代入精度と固定時間の観点から, ミオピックアプローチよりも有意な改善が見られた。
  論文  参考訳（メタデータ） (2022-11-02T04:42:21Z)
• S3M: Siamese Stack (Trace) Similarity Measure [55.58269472099399]
  本稿では、深層学習に基づくスタックトレースの類似性を計算する最初のアプローチであるS3Mを紹介します。 BiLSTMエンコーダと、類似性を計算するための完全接続型分類器をベースとしている。 私たちの実験は、オープンソースデータとプライベートなJetBrainsデータセットの両方において、最先端のアプローチの優位性を示しています。
  論文  参考訳（メタデータ） (2021-03-18T21:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。