論文の概要: Diversity Empowers Intelligence: Integrating Expertise of Software Engineering Agents

• arxiv url: http://arxiv.org/abs/2408.07060v1
• Date: Tue, 13 Aug 2024 17:50:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 16:45:31.933226
• Title: Diversity Empowers Intelligence: Integrating Expertise of Software Engineering Agents
• Title（参考訳）: 多様性がインテリジェンスを強力にする - ソフトウェアエンジニアリングエージェントの専門知識を統合する
• Authors: Kexun Zhang, Weiran Yao, Zuxin Liu, Yihao Feng, Zhiwei Liu, Rithesh Murthy, Tian Lan, Lei Li, Renze Lou, Jiacheng Xu, Bo Pang, Yingbo Zhou, Shelby Heinecke, Silvio Savarese, Huan Wang, Caiming Xiong,
• Abstract要約: 大規模言語モデル(LLM)エージェントは、現実世界のソフトウェア工学(SWE)問題を解決する大きな可能性を示している。 専門知識を活かしたフレームワークであるDEI(Diversity Empowered Intelligence)を提案する。 実験により、DEAが指導するエージェント委員会が、最高のエージェントのパフォーマンスを大きなマージンで上回ることが可能であることが示されている。
• 参考スコア（独自算出の注目度）: 106.87436596397816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents have shown great potential in solving real-world software engineering (SWE) problems. The most advanced open-source SWE agent can resolve over 27% of real GitHub issues in SWE-Bench Lite. However, these sophisticated agent frameworks exhibit varying strengths, excelling in certain tasks while underperforming in others. To fully harness the diversity of these agents, we propose DEI (Diversity Empowered Intelligence), a framework that leverages their unique expertise. DEI functions as a meta-module atop existing SWE agent frameworks, managing agent collectives for enhanced problem-solving. Experimental results show that a DEI-guided committee of agents is able to surpass the best individual agent's performance by a large margin. For instance, a group of open-source SWE agents, with a maximum individual resolve rate of 27.3% on SWE-Bench Lite, can achieve a 34.3% resolve rate with DEI, making a 25% improvement and beating most closed-source solutions. Our best-performing group excels with a 55% resolve rate, securing the highest ranking on SWE-Bench Lite. Our findings contribute to the growing body of research on collaborative AI systems and their potential to solve complex software engineering challenges.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、現実世界のソフトウェア工学(SWE)問題を解決する大きな可能性を示している。 最も高度なオープンソースSWEエージェントは、SWE-Bench Liteの実際のGitHub問題の27%以上を解決できる。 しかし、これらの高度なエージェント・フレームワークは様々な強みを示し、特定のタスクにおいて優れ、他のタスクでは性能が劣る。 これらのエージェントの多様性をフル活用するために,それらのユニークな専門知識を活用するフレームワークであるDEI(Diversity Empowered Intelligence)を提案する。 DEIは既存のSWEエージェントフレームワーク上のメタモジュールとして機能し、問題解決のためのエージェント集合を管理する。 実験の結果, エージェントのDEI指導委員会が, 最高のエージェントのパフォーマンスを大きなマージンで上回ることができた。 例えば、SWE-Bench Lite上で最大27.3%の解答率を持つオープンソースSWEエージェントのグループは、DeIで34.3%の解答率を達成でき、25%の改善と、最もクローズドソースソリューションの打ち負かすことができる。 ベストパフォーマンスグループは55%のリゾルフレートで優れており、SWE-Bench Liteの最高ランクを確保しています。 我々の発見は、協調型AIシステムの研究の活発化と、複雑なソフトウェア工学の課題を解決する可能性に寄与する。

関連論文リスト

• Evaluating Software Development Agents: Patch Patterns, Code Quality, and Issue Complexity in Real-World GitHub Scenarios [13.949319911378826]
  この調査は、500の現実のGitHubイシューで上位10のエージェントから4,892のパッチを評価した。 一人のエージェントが支配的であり、170の問題が未解決であり、改善の余地があった。 ほとんどのエージェントはコードの信頼性とセキュリティを維持し、新しいバグや脆弱性を避けた。 一部のエージェントはコードの複雑さを増し、多くの重複を減らし、コードの臭いを最小限にした。
  論文  参考訳（メタデータ） (2024-10-16T11:33:57Z)
• AutoPenBench: Benchmarking Generative Agents for Penetration Testing [42.681170697805726]
  本稿では,自動貫入試験における生成エージェント評価のためのオープンベンチマークであるAutoPenBenchを紹介する。 エージェントが攻撃しなければならない脆弱性のあるシステムを表す33のタスクを含む包括的フレームワークを提案する。 完全自律型と半自律型という2つのエージェントアーキテクチャをテストすることで,AutoPenBenchのメリットを示す。
  論文  参考訳（メタデータ） (2024-10-04T08:24:15Z)
• SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
  Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。 本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。 我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
  論文  参考訳（メタデータ） (2024-09-11T17:37:48Z)
• Agentless: Demystifying LLM-based Software Engineering Agents [12.19683999553113]
  Agentless - ソフトウェア開発の問題を自動解決するためのエージェントレスアプローチです。 Agentlessはエージェントベースのアプローチの冗長で複雑な設定と比較すると、ローカライゼーション、修復、パッチ検証の3フェーズプロセスをシンプルに採用している。 人気の高いSWE-bench Liteベンチマークの結果から、Agentlessは驚くほど高いパフォーマンスと低コストを達成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-01T17:24:45Z)
• MASAI: Modular Architecture for Software-engineering AI Agents [7.289893771424848]
  ソフトウェア工学における複雑な問題を解決する一般的な方法は、問題を複数のサブプロブレムに分割することである。 我々は,ソフトウェア工学AI(MASAI)エージェントのためのモジュールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-17T15:19:51Z)
• SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering [79.07755560048388]
  SWEエージェント(SWE-agent)は、LMエージェントが自律的にコンピュータを使用してソフトウェア工学のタスクを解決するシステムである。 SWEエージェントのカスタムエージェントコンピュータインタフェース(ACI)は、エージェントがコードファイルを作成し編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行する能力を著しく向上させる。 我々はSWE-benchとHumanEvalFixのSWE-agentを評価し、それぞれ12.5%と87.7%のパス@1レートで最先端の性能を実現した。
  論文  参考訳（メタデータ） (2024-05-06T17:41:33Z)
• GitAgent: Facilitating Autonomous Agent with GitHub by Tool Extension [81.44231422624055]
  さまざまなタスクを実行できる外部ツールを備えた大規模言語モデル(LLM)に焦点が当てられている。 本稿では,GitHubから自動ツール拡張を実現するエージェントであるGitAgentを紹介する。
  論文  参考訳（メタデータ） (2023-12-28T15:47:30Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)
• ACE: Cooperative Multi-agent Q-learning with Bidirectional Action-Dependency [65.28061634546577]
  マルチエージェント強化学習(MARL)は非定常性問題に悩まされる。 本稿では,双方向行動依存型Q-ラーニング(ACE)を提案する。 ACEは、Google Research FootballとStarCraft Multi-Agent Challengeで最先端のアルゴリズムを上回っている。
  論文  参考訳（メタデータ） (2022-11-29T10:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。