論文の概要: AsynCodeBench: Benchmarking Collaboration of Asynchronous Multi-Agent Systems in Software Engineering

• arxiv url: http://arxiv.org/abs/2609.32662v1
• Date: Sat, 26 Sep 2026 14:19:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:35:29.124712
• Title: AsynCodeBench: Benchmarking Collaboration of Asynchronous Multi-Agent Systems in Software Engineering
• Title（参考訳）: AsynCodeBench: ソフトウェア工学における非同期マルチエージェントシステムのベンチマークコラボレーション
• Abstract要約: マルチエージェントソフトウェアエンジニアリングのための依存性中心ベンチマークであるAsynCodeBenchを紹介する。 AsynCodeBenchは明示的な依存性グラフと実行可能な依存性チェッカーで各タスクを表現する。 コーディング性能の改善が必ずしもコラボレーションの強化につながるとは限らないことを示す。
• 参考スコア（独自算出の注目度）: 29.404011829533857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent coding has emerged as an increasingly active direction in software engineering, where complex development tasks are decomposed across multiple specialized agents working on different parts of the problem. Despite the shift from individual problem solving to distributed collaboration, multi-agent systems still lack a direct measure of collaboration and are largely evaluated through task-level outcomes inherited from single-agent coding, conflating individual coding capability with cross-agent coordination. We introduce AsynCodeBench, a dependency-centric benchmark for asynchronous multi-agent software engineering that represents each task with an explicit dependency graph and executable Dependency Checkers. Through this dependency-tracking process, we propose two complementary measures: Asynchronous Dependency Pass Rate (ADPR), which measures how many cross-agent dependencies are ultimately satisfied, and Dependency Resolution Step (DRS), which measures when each dependency first becomes satisfied during execution. AsynCodeBench comprises 19 tasks from real-world repositories, exposing 52 directed dependencies as explicit units for evaluating cross-agent collaboration. Experiments across model families, scales, and generations reveal a clear gap between coding and collaboration capability: improvements in coding performance do not necessarily translate into stronger collaboration, and task-level metrics can diverge substantially from dependency-level collaboration measures. Dependency-trajectory analysis further reveals that successful coordination often emerges not gradually, but through concentrated bursts in which many dependencies become resolved over a short portion of the execution trajectory, a pattern we term a hopping window.
• Abstract（参考訳）: マルチエージェントコーディングは、ソフトウェアエンジニアリングにおいてますます活発な方向として現れており、複雑な開発タスクは、問題のさまざまな部分に取り組む複数の特殊エージェントで分解される。 個々の問題解決から分散コラボレーションへの移行にもかかわらず、マルチエージェントシステムはコラボレーションの直接的な尺度を欠き、シングルエージェントのコーディングから受け継いだタスクレベルの結果を通じて、個別のコーディング能力とクロスエージェントのコーディネーションを融合させることで、大きく評価されている。 AsynCodeBenchは、非同期マルチエージェントソフトウェアエンジニアリングのための依存性中心のベンチマークで、明示的な依存性グラフと実行可能な依存性チェッカーで各タスクを表現する。 この依存性追跡プロセスを通じて、非同期依存性パスレート(ADPR)と、実行中に各依存関係が最初に満足する度合いを計測する依存性解決ステップ(DRS)の2つの補完策を提案する。 AsynCodeBenchは、現実世界のリポジトリから19のタスクで構成され、52の依存性を明示的なユニットとして公開し、エージェント間のコラボレーションを評価する。 コーディングパフォーマンスの改善は、必ずしもより強力なコラボレーションに変換されるとは限らないし、タスクレベルのメトリクスは、依存性レベルのコラボレーション対策から大きく逸脱する可能性がある。 依存性トラジェクトリ分析により、成功するコーディネーションはしばしば徐々に現れるのではなく、多くの依存関係が実行トラジェクトリの短い部分で解決される集中バーストによって、私たちはホッピングウィンドウ(hopping window)と呼んでいます。

関連論文リスト

• Rethinking Multi-Agent Collaboration: When More Is Less [26.665862829215587]
  本稿では,Semantic-Aware Incremental Graph Evolutionに基づく,軽量なマルチエージェント協調機構であるSAIGEを提案する。 SAIGEは文脈効率とタスク性能のトレードオフを良好に実現していることを示す。 以上の結果から,マルチエージェントの優越性は普遍的ではなくタスク構造によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-09-17T06:29:12Z)
• Beyond Individual Intelligence: Surveying Collaboration, Failure Attribution, and Self-Evolution in LLM-based Multi-Agent Systems [65.90791804095561]
  マルチエージェントシステムは、特殊エージェント間の構造化された協調を通じてこの問題に対処するが、より厳密な調整は、あまり検討されていないリスクを増幅する。 既存の調査では、個々のエージェント能力、マルチエージェントのコラボレーション、エージェントの自己進化を別々にカバーしている。 この調査は4つの因果関係のあるステージを中心にまとめられた統一されたレビューを提供する。これはLIFEの進展(Lay the capabilities foundation)、協力によるエージェントの統合、帰属による障害の発見、自律的な自己改善によるEvolveである。
  論文  参考訳（メタデータ） (2026-05-14T14:36:13Z)
• Improving the Efficiency of Language Agent Teams with Adaptive Task Graphs [52.26652574704317]
  大規模言語モデル(LLM)はますますチームにデプロイされているが、既存のコーディネーションアプローチは2つの極端な部分を占めることが多い。 本稿では,Language Agent Teams for Task Evolution (LATTE)を紹介した。
  論文  参考訳（メタデータ） (2026-05-07T14:19:17Z)
• Effective Strategies for Asynchronous Software Engineering Agents [52.76455094324273]
  本稿では,集中型タスクデリゲート,非同期実行,独立したワークスペースという,3つのSWEプリミティブに根ざした構造化マルチエージェント協調パラダイムを導入する。 CAIDは,紙再生タスク(PaperBench)では26.7%,Pythonライブラリ開発タスクでは14.3%,単一エージェントベースラインでは26.7%の精度向上を実現している。
  論文  参考訳（メタデータ） (2026-03-23T02:26:35Z)
• EmCoop: A Framework and Benchmark for Embodied Cooperation Among LLM Agents [18.802912315746564]
  EmCoopは、組み込みマルチエージェントシステムの協調を研究するためのベンチマークフレームワークである。 我々のフレームワークは、高レベルの認知層と低レベルのエンボディドインタラクション層を分離する。 コラボレーションの品質と障害モードを診断する,一般化可能なプロセスレベルのメトリクスを提案する。
  論文  参考訳（メタデータ） (2026-02-27T22:28:33Z)
• Cross-Task Experiential Learning on LLM-based Multi-Agent Collaboration [63.90193684394165]
  マルチエージェント・クロスタスク体験学習(MAEL)は,LSM駆動型エージェントに明示的なクロスタスク学習と経験蓄積を付与する新しいフレームワークである。 経験的学習フェーズでは、タスク解決ワークフローの各ステップの品質を定量化し、その結果の報酬を記憶する。 推論中、エージェントは、各推論ステップの有効性を高めるために、いくつかの例として、高頻度のタスク関連体験を検索する。
  論文  参考訳（メタデータ） (2025-05-29T07:24:37Z)
• When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
  我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。 タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
  論文  参考訳（メタデータ） (2025-02-21T02:24:43Z)
• Towards Effective GenAI Multi-Agent Collaboration: Design and Evaluation for Enterprise Applications [15.480315462362531]
  本稿では,新しいマルチエージェント協調フレームワークにおける協調とルーティング機能に関する総合的な評価について述べる。 コーディネート機能として,エージェント間通信とペイロード参照機構の有効性を実証し,エンドツーエンドの目標達成率を90%とする。 マルチエージェントコラボレーションは,ベンチマークの単一エージェントアプローチと比較して,目標達成率を最大70%向上させる。
  論文  参考訳（メタデータ） (2024-12-06T22:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。