論文の概要: Can Agents Fix Agent Issues?

• arxiv url: http://arxiv.org/abs/2505.20749v1
• Date: Tue, 27 May 2025 05:45:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.432613
• Title: Can Agents Fix Agent Issues?
• Title（参考訳）: エージェントはエージェントの問題を修正することができるか?
• Authors: Alfin Wijaya Rahardja, Junwei Liu, Weitong Chen, Zhenpeng Chen, Yiling Lou,
• Abstract要約: LLMベースのエージェントシステムは、新しいソフトウェアパラダイムとして登場し、医学、ロボティクス、プログラミングといった様々な領域で広く採用されている。 これらのシステムを維持するには、バグが必然的に発生し、外部の要求に合うように継続的に進化するため、かなりの努力が必要です。 最近のソフトウェア工学(SE)エージェントは、従来のソフトウェアシステムにおける問題に対処することを約束しているが、エージェントシステムにおける現実の問題がどの程度効果的に解決できるかは不明だ。
• 参考スコア（独自算出の注目度）: 11.464925706722982
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLM-based agent systems are emerging as a new software paradigm and have been widely adopted across diverse domains such as medicine, robotics, and programming. However, maintaining these systems requires substantial effort, as they are inevitably prone to bugs and continually evolve to meet changing external requirements. Therefore, automatically resolving agent issues (i.e., bug reports or feature requests) is a crucial and challenging task. While recent software engineering (SE) agents (e.g., SWE-agent) have shown promise in addressing issues in traditional software systems, it remains unclear how effectively they can resolve real-world issues in agent systems, which differ significantly from traditional software. To fill this gap, we first manually analyze 201 real-world agent issues and identify common categories of agent issues. We then spend 500 person-hours constructing AGENTISSUE-BENCH, a reproducible benchmark comprising 50 agent issue resolution tasks (each with an executable environment and failure-triggering tests). We further evaluate state-of-the-art SE agents on AGENTISSUE-BENCH and reveal their limited effectiveness (i.e., with only 3.33% - 12.67% resolution rates). These results underscore the unique challenges of maintaining agent systems compared to traditional software, highlighting the need for further research to develop advanced SE agents for resolving agent issues. Data and code are available at https://alfin06.github.io/AgentIssue-Bench-Leaderboard/#/ .
• Abstract（参考訳）: LLMベースのエージェントシステムは、新しいソフトウェアパラダイムとして登場し、医学、ロボティクス、プログラミングといった様々な領域で広く採用されている。 しかしながら、これらのシステムを維持するには、必然的にバグを発生させ、外部の要求に合うように継続的に進化するため、かなりの努力が必要です。 したがって、エージェントの問題を自動解決する(バグレポートや機能要求など)ことが重要かつ困難な課題である。 最近のソフトウェア工学(SE)エージェント(例えば、SWEエージェント)は、従来のソフトウェアシステムにおける問題に対処する上で有望であることを示しているが、エージェントシステムにおける現実の問題がいかに効果的に解決できるかは、従来のソフトウェアと大きく異なる。 このギャップを埋めるために、我々はまず201の現実世界のエージェント問題を手動で分析し、エージェントの一般的なカテゴリを特定します。 次に,50件の課題解決タスクからなる再現可能なベンチマークであるAgentISSUE-BENCHの構築に500時間を費やした。 我々はさらに最先端のSEエージェントであるISSUE-BENCHを評価し、その限られた効果(すなわち、わずか3.33%～12.67%)を明らかにした。 これらの結果は従来のソフトウェアと比較してエージェントシステムを維持するというユニークな課題を強調しており、エージェント問題を解決するための高度なSEエージェントを開発するためのさらなる研究の必要性を浮き彫りにしている。 データとコードはhttps://alfin06.github.io/AgentIssue-Bench-Leaderboard/#/で入手できる。

関連論文リスト

• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• Towards Adaptive Software Agents for Debugging [0.40964539027092917]
  本稿では,エージェントの数とその役割を動的に決定する適応型エージェント設計を提案する。 最初の評価では、適応設計では、生成されるエージェントの数はバグのあるコードの複雑さに依存することが示されている。 治療効果は, ワンショットプロンプトよりも平均11%改善した。
  論文  参考訳（メタデータ） (2025-04-25T12:48:08Z)
• Evaluating Software Development Agents: Patch Patterns, Code Quality, and Issue Complexity in Real-World GitHub Scenarios [13.949319911378826]
  この調査は、500の現実のGitHubイシューで上位10のエージェントから4,892のパッチを評価した。 一人のエージェントが支配的であり、170の問題が未解決であり、改善の余地があった。 ほとんどのエージェントはコードの信頼性とセキュリティを維持し、新しいバグや脆弱性を避けた。 一部のエージェントはコードの複雑さを増し、多くの重複を減らし、コードの臭いを最小限にした。
  論文  参考訳（メタデータ） (2024-10-16T11:33:57Z)
• Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
  本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
  論文  参考訳（メタデータ） (2024-10-14T17:57:02Z)
• Agentless: Demystifying LLM-based Software Engineering Agents [12.19683999553113]
  Agentless - ソフトウェア開発の問題を自動解決するためのエージェントレスアプローチです。 Agentlessはエージェントベースのアプローチの冗長で複雑な設定と比較すると、ローカライゼーション、修復、パッチ検証の3フェーズプロセスをシンプルに採用している。 人気の高いSWE-bench Liteベンチマークの結果から、Agentlessは驚くほど高いパフォーマンスと低コストを達成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-01T17:24:45Z)
• SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering [79.07755560048388]
  SWEエージェント(SWE-agent)は、LMエージェントが自律的にコンピュータを使用してソフトウェア工学のタスクを解決するシステムである。 SWEエージェントのカスタムエージェントコンピュータインタフェース(ACI)は、エージェントがコードファイルを作成し編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行する能力を著しく向上させる。 我々はSWE-benchとHumanEvalFixのSWE-agentを評価し、それぞれ12.5%と87.7%のパス@1レートで最先端の性能を実現した。
  論文  参考訳（メタデータ） (2024-05-06T17:41:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。