論文の概要: An Empirical Study of Coordination Mode as the First-Class Citizen in From-Scratch Multi-Agent Coding
- arxiv url: http://arxiv.org/abs/2607.27877v1
- Date: Thu, 30 Jul 2026 08:53:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.46798
- Title: An Empirical Study of Coordination Mode as the First-Class Citizen in From-Scratch Multi-Agent Coding
- Title（参考訳）: From-Scratch Multi-Agent 符号化における一級市民としてのコーディネーションモードの実証的研究
- Abstract要約: 我々は,マルチエージェント評価ベンチマークであるMSEvalを導入し,実世界のタスクにおけるマルチエージェントコーディングを評価する。
MSEvalは10のドメインにわたる、真正でフルスタックの10のプロジェクトで構成され、階層的な要件と決定論的ルーリックを使用してパフォーマンスをスコアする。
- 参考スコア（独自算出の注目度）: 9.678180803829207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent vibe coding promises to accelerate software development, yet existing benchmarks rely on synthetic environments that ignore practical time and monetary costs, conflate reasoning with communication, and reward only superficial completion. We introduce multi-agent from-scratch evaluation benchmark, MSEval, evaluating multi-agent coding on real-world tasks. Grounded in 10 authentic, full-stack projects across 10 domains, MSEval scores performance using hierarchical requirements and deterministic rubrics. Its execution engine, LegoGent, tests 10 collaboration topologies where agents coordinate via periodic sync intervals and deploy through native CI/CD pipelines. Concurrently, the automated grader TAgent dynamically probes implementations to jointly measure functional success, latency, and prefix-cached token cost. Across 100 runs, MSEval reveals that organizational topology rivals model capability in shaping the speed--cost--quality trade-off. For identical tasks and models, varying the topology shifts scores by over 30 points and doubles wall-clock time. Structured pipelines converge fastest with the highest quality, whereas heavy managerial oversight degrades performance. Ultimately, MSEval establishes a rigorous, reproducible standard for measuring how multi-agent teams actually build software. The benchmark is released at https://github.com/robinren03/MSEval.
- Abstract（参考訳）: マルチエージェントビブコーディングはソフトウェア開発を加速させるが、既存のベンチマークは、実践的な時間と金銭的コストを無視し、コミュニケーションによる推論を強調し、表面的な完了のみを報酬する合成環境に依存している。
実世界のタスクにおけるマルチエージェント・コーディングの評価を行うマルチエージェント・オフ・スクラッチ評価ベンチマークであるMSEvalを導入する。
MSEvalは10のドメインにわたる、真正でフルスタックの10のプロジェクトで構成され、階層的な要件と決定論的ルーリックを使用してパフォーマンスをスコアする。
その実行エンジンであるLegoGentは、10のコラボレーショントポロジをテストし、エージェントは周期的な同期間隔で調整し、ネイティブのCI/CDパイプラインを通じてデプロイする。
同時に、自動グレーダTAgentは、機能の成功、レイテンシ、プレフィックスキャッシュトークンコストを共同で測定する実装を動的に探索する。
100回にわたって、MSEvalは、組織トポロジがスピード-コスト-品質-トレードオフを形作るのに、モデル能力に匹敵することを示した。
同じタスクやモデルの場合、トポロジのスコアは30ポイント以上変更され、ウォールタイムは2倍になる。
構造パイプラインは最高品質で収束する一方、重度管理の監視は性能を低下させる。
最終的に、MSEvalは、マルチエージェントチームが実際にソフトウェアを構築する方法を測定するための厳格で再現可能な標準を確立します。
ベンチマークはhttps://github.com/robinren03/MSEvalで公開されている。
関連論文リスト
- DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。
評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。
メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
論文 参考訳（メタデータ） (2026-06-03T04:58:17Z) - Multi-Agent Computer Use [72.79887808312706]
我々はマルチエージェント・コンピュータ・ユース(MACU)システムの評価・構築に向けて進むべきであると論じる。
本稿では、マネージャモデルがコンピュータ使用タスクを有向非巡回グラフ(DAG)として分解する汎用マルチエージェント構成を提案する。
各イテレーションで、マネージャは並列CUAサブエージェントをディスパッチし、DAGの準備ができているフロンティアでノードを実行する。
論文 参考訳（メタデータ） (2026-06-01T01:29:36Z) - When Parallelism Pays Off: Cohesion-Aware Task Partitioning for Multi-Agent Coding [19.03671411536556]
マルチエージェント大規模言語モデル(LLM)システムは、並列化やコンテキスト分離を通じて、コーディングのような複雑なタスクを分解する方法を提供する。
我々は,マルチエージェントオーケストレーションをグラフ分割問題として定式化し,通信対計算のトレードオフを捉える。
静的解析から依存性グラフを構築し,構造的ハブファイルを分離し,コミュニティ検出を通じてグラフを分割し,依存関係対応スケジューラで分割を実行するCohesion-aware Coder(Co-Coder)を提案する。
論文 参考訳（メタデータ） (2026-05-31T02:10:12Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - TacoMAS: Test-Time Co-Evolution of Topology and Capability in LLM-based Multi-Agent Systems [55.81570336226014]
動的マルチエージェントシステムのためのテスト時間共進化フレームワークであるTacoMASを紹介する。
TacoMASはMAS推論をオンライングラフ適応のタスクとして定式化し、ノードは役割固有の能力を持つエージェントを表し、エッジはその通信トポロジを定義する。
4つのベンチマークの実験では、TacoMASは20近いマルチエージェントベースラインを上回り、最強ベースラインよりも平均13.3%向上した。
論文 参考訳（メタデータ） (2026-05-10T13:52:00Z) - An Agentic Evaluation Framework for AI-Generated Scientific Code in PETSc [7.236134946837382]
petscagent-benchはエージェント評価エージェントのパラダイムに基づいて構築されたエージェントフレームワークである。
正確性、パフォーマンス、コード品質、アルゴリズムの適切性、ライブラリ固有の規約の5つの評価カテゴリで14評価パイプラインを編成する。
本フレームワークは,HPC用PETScライブラリを用いて,現実的な問題のベンチマークスイート上で実演する。
論文 参考訳（メタデータ） (2026-03-16T22:46:10Z) - SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration [7.89414068452646]
SWE-CIは継続的インテグレーションループ上に構築された最初のリポジトリレベルのベンチマークである。
コード生成のための評価パラダイムを静的・短期的テキスト機能的正当性から動的・長期的テキスト保守性へシフトすることを目的としている。
論文 参考訳（メタデータ） (2026-03-04T08:20:25Z) - ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads? [0.8749675983608171]
実世界の推論タスクでその能力をテストするためのコーディングエージェントのベンチマークであるISO-Benchを紹介する。
統合プルリクエストから54のタスクをキュレートし、測定可能なパフォーマンスを改善しました。
論文 参考訳（メタデータ） (2026-02-23T08:37:53Z) - Dynamic Benchmark Construction for Evaluating Large Language Models on Real-World Codes [33.80591142965565]
CODE2BENCHは、実世界のGitHubリポジトリから、堅牢で汚染に強いベンチマークを動的に構築するためのパイプラインである。
特に、CODE2BENCHは、(1) トレーニングデータの汚染を最小限に抑えるために、最近のコードの周期的取り込みによって達成される自動ダイナミズム、(2) 依存レベルの制御されたベンチマークインスタンスへの関数の構造化可能なスコープグラフベースの依存性分析、(3) 厳密なテストスイートの自動合成のためのプロパティベーステスト(PBT)の3つの重要なイノベーションを紹介している。
論文 参考訳（メタデータ） (2025-08-10T05:06:36Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。
本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。
大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
論文 参考訳（メタデータ） (2024-12-06T23:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。