論文の概要: Agentless: Demystifying LLM-based Software Engineering Agents

• arxiv url: http://arxiv.org/abs/2407.01489v2
• Date: Tue, 29 Oct 2024 17:29:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:38:35.246663
• Title: Agentless: Demystifying LLM-based Software Engineering Agents
• Title（参考訳）: Agentless: LLMベースのソフトウェアエンジニアリングエージェントのデマイティフィケーション
• Authors: Chunqiu Steven Xia, Yinlin Deng, Soren Dunn, Lingming Zhang,
• Abstract要約: Agentless - ソフトウェア開発の問題を自動解決するためのエージェントレスアプローチです。 Agentlessはエージェントベースのアプローチの冗長で複雑な設定と比較すると、ローカライゼーション、修復、パッチ検証の3フェーズプロセスをシンプルに採用している。 人気の高いSWE-bench Liteベンチマークの結果から、Agentlessは驚くほど高いパフォーマンスと低コストを達成できることがわかった。
• 参考スコア（独自算出の注目度）: 12.19683999553113
• License:
• Abstract: Recent advancements in large language models (LLMs) have significantly advanced the automation of software development tasks, including code synthesis, program repair, and test generation. More recently, researchers and industry practitioners have developed various autonomous LLM agents to perform end-to-end software development tasks. These agents are equipped with the ability to use tools, run commands, observe feedback from the environment, and plan for future actions. However, the complexity of these agent-based approaches, together with the limited abilities of current LLMs, raises the following question: Do we really have to employ complex autonomous software agents? To attempt to answer this question, we build Agentless -- an agentless approach to automatically solve software development problems. Compared to the verbose and complex setup of agent-based approaches, Agentless employs a simplistic three-phase process of localization, repair, and patch validation, without letting the LLM decide future actions or operate with complex tools. Our results on the popular SWE-bench Lite benchmark show that surprisingly the simplistic Agentless is able to achieve both the highest performance (32.00%, 96 correct fixes) and low cost ($0.70) compared with all existing open-source software agents! Furthermore, we manually classified the problems in SWE-bench Lite and found problems with exact ground truth patch or insufficient/misleading issue descriptions. As such, we construct SWE-bench Lite-S by excluding such problematic issues to perform more rigorous evaluation and comparison. Our work highlights the current overlooked potential of a simple, interpretable technique in autonomous software development. We hope Agentless will help reset the baseline, starting point, and horizon for autonomous software agents, and inspire future work along this crucial direction.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、コード合成、プログラム修復、テスト生成を含むソフトウェア開発タスクの自動化を著しく進歩させてきた。 最近では、研究者や業界の実践者たちが、エンドツーエンドのソフトウェア開発タスクを実行するために、様々な自律型LLMエージェントを開発した。 これらのエージェントは、ツールの使用、コマンドの実行、環境からのフィードバックの観察、将来のアクションの計画などの機能を備えている。 しかしながら、エージェントベースのアプローチの複雑さは、現在のLLMの能力の制限とともに、次のような疑問を提起している。 この質問に答えるために、私たちはAgentlessというエージェントレスのアプローチを構築します。 エージェントベースのアプローチの冗長で複雑なセットアップと比較すると、Agenlessは、LCMが将来のアクションを決めたり、複雑なツールで操作したりすることなく、ローカライズ、修復、パッチ検証の3段階の単純化されたプロセスを採用している。 人気の高いSWE-bench Liteベンチマークの結果、Agentlessは驚くほど高いパフォーマンス(32.00%、96の修正)とコスト(0.70ドル)を、既存のすべてのオープンソースソフトウェアエージェントと比較して達成できることがわかった。 さらに、SWE-bench Liteの問題を手動で分類し、正確な真理のパッチや問題記述の欠如に問題を見出した。 このような問題を除外してSWE-bench Lite-Sを構築し、より厳密な評価と比較を行う。 私たちの研究は、自律ソフトウェア開発におけるシンプルで解釈可能なテクニックの現在見過ごされている可能性を強調しています。 Agentlessは、自律的なソフトウェアエージェントのベースライン、出発点、地平線をリセットし、この決定的な方向への今後の活動を促すことを期待しています。

関連論文リスト

• Evaluating Software Development Agents: Patch Patterns, Code Quality, and Issue Complexity in Real-World GitHub Scenarios [13.949319911378826]
  この調査は、500の現実のGitHubイシューで上位10のエージェントから4,892のパッチを評価した。 一人のエージェントが支配的であり、170の問題が未解決であり、改善の余地があった。 ほとんどのエージェントはコードの信頼性とセキュリティを維持し、新しいバグや脆弱性を避けた。 一部のエージェントはコードの複雑さを増し、多くの重複を減らし、コードの臭いを最小限にした。
  論文  参考訳（メタデータ） (2024-10-16T11:33:57Z)
• Agent-Driven Automatic Software Improvement [55.2480439325792]
  本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。 継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。 我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
  論文  参考訳（メタデータ） (2024-06-24T15:45:22Z)
• SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering [79.07755560048388]
  SWEエージェント(SWE-agent)は、LMエージェントが自律的にコンピュータを使用してソフトウェア工学のタスクを解決するシステムである。 SWEエージェントのカスタムエージェントコンピュータインタフェース(ACI)は、エージェントがコードファイルを作成し編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行する能力を著しく向上させる。 我々はSWE-benchとHumanEvalFixのSWE-agentを評価し、それぞれ12.5%と87.7%のパス@1レートで最先端の性能を実現した。
  論文  参考訳（メタデータ） (2024-05-06T17:41:33Z)
• From Language Models to Practical Self-Improving Computer Agents [0.8547032097715571]
  我々は、多様なコンピュータタスクを実行し、自己改善できるAIコンピュータエージェントを作成するための方法論を開発する。 我々は、LLMエージェントに検索、インターネット検索、Webナビゲーション、テキストエディタ機能を増強するよう促す。 このエージェントは、これらの様々なツールを効果的に利用して、自動ソフトウェア開発やWebベースのタスクを含む問題を解決する。
  論文  参考訳（メタデータ） (2024-04-18T07:50:10Z)
• AutoCodeRover: Autonomous Program Improvement [8.66280420062806]
  プログラムの改善を自律的に達成するために、GitHubの問題を解決する自動化アプローチを提案する。 AutoCodeRoverと呼ばれるアプローチでは、LLMは洗練されたコード検索機能と組み合わせられ、最終的にプログラムの変更やパッチにつながります。 SWE-bench-lite(300の現実のGitHubイシュー)の実験では、GitHubの問題を解決する効果が向上している(SWE-bench-liteでは19%)。
  論文  参考訳（メタデータ） (2024-04-08T11:55:09Z)
• AgentLite: A Lightweight Library for Building and Advancing Task-Oriented LLM Agent System [91.41155892086252]
  LLMエージェントの研究を簡略化する新しいAIエージェントライブラリであるAgentLiteをオープンソースとして公開する。 AgentLiteは、タスクを分解するエージェントの機能を強化するために設計されたタスク指向フレームワークである。 我々は,その利便性と柔軟性を示すために,AgentLiteで開発された実用アプリケーションを紹介した。
  論文  参考訳（メタデータ） (2024-02-23T06:25:20Z)
• Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
  大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。 本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。 実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
  論文  参考訳（メタデータ） (2023-12-28T13:50:42Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。