論文の概要: CoCoBench: A Cooperative Coordination Benchmark for Embodied Multi-Agent Task Planning
- arxiv url: http://arxiv.org/abs/2608.28266v1
- Date: Fri, 28 Aug 2026 12:29:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.315875
- Title: CoCoBench: A Cooperative Coordination Benchmark for Embodied Multi-Agent Task Planning
- Title(参考訳): CoCoBench: マルチエージェントタスク計画のための協調コーディネートベンチマーク
- Abstract要約: CoCoBenchは、実行可能な家庭用タスクにおけるマルチエージェントの具体化調整を評価するための構成レベルベンチマークである。
我々は,異なる調整モード,観察入力,エージェント数にまたがるMLLMを11個評価した。
- 参考スコア(独自算出の注目度): 26.72126160106256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent systems powered by multimodal large language models (MLLMs) have advanced rapidly in recent years, yet existing embodied-agent benchmarks still lack fine-grained diagnostics for multi-agent coordination. Most benchmarks either focus on single-agent task completion or summarize multi-agent behavior with overall task success rates, which can obscure coordination failures such as duplicated work, violations of ordering constraints, resource contention, and desynchronized handoffs. In this paper, we introduce CoCoBench, a construct-level benchmark for evaluating multi-agent embodied coordination in executable household tasks. CoCoBench contains 897 oracle-validated instances organized around four recurring coordination constructs: task allocation, sequential ordering, mutual exclusion, and handoff coordination. In addition to task success rate, CoCoBench provides construct-level scores that measure whether agents coordinate effectively. We evaluate 11 leading MLLMs across different coordination modes, observation inputs, and numbers of agents. The results show that coordination ability is highly construct-specific: strong overall performance does not imply balanced competence across different coordination types. These findings point to new directions for designing targeted model architectures and improving multi-agent coordination ability.
- Abstract(参考訳): 近年,マルチモーダル大規模言語モデル (MLLM) を利用したエージェントシステムは急速に進歩しているが,既存のエンボディエージェントベンチマークでは,マルチエージェント協調のための詳細な診断方法が不足している。
ほとんどのベンチマークでは、単一エージェントのタスク補完にフォーカスするか、タスクの成功率でマルチエージェントの動作を要約する。
本稿では,マルチエージェントの具体化コーディネーションを評価するための構成レベルベンチマークであるCoCoBenchを紹介する。
CoCoBenchには、タスクアロケーション、シーケンシャルオーダリング、相互排除、ハンドオフコーディネートという、4つの繰り返しコーディネート構造を中心に構成された897のオラクル検証インスタンスが含まれている。
タスク成功率に加えて、CoCoBenchはエージェントが効果的に協調するかどうかを測定する構成レベルスコアを提供する。
我々は,異なる調整モード,観察入力,エージェント数にまたがるMLLMを11個評価した。
その結果, コーディネート能力は構成に特有であり, 高い総合性能は異なるコーディネートタイプ間でのコンピテンスバランスを損なうものではないことがわかった。
これらの知見は、ターゲットとなるモデルアーキテクチャを設計し、マルチエージェント調整能力を向上するための新しい方向性を示唆している。
関連論文リスト
- Benchmarking Open-Ended Multi-Agent Coordination in Language Agents [48.1363632826625]
Alemは、手続き的に生成されたコーディネーションタスク、ソフトな特殊化、コミュニケーション、制御可能なコーディネーションの難しさを、長い水平サバイバルの世界に埋め込む。
Craftaxライクなダイナミックス上に構築されたオープンなマルチエージェント協調のためのJAXベースのベンチマークである$alem$を紹介します。
論文 参考訳(メタデータ) (2026-06-06T21:13:43Z) - When Does Hierarchy Help? Benchmarking Agent Coordination in Event-Driven Industrial Scheduling [7.912877527497326]
DESBenchは、階層的なイベント駆動スケジューリングにおけるエージェント調整を評価するためのベンチマークである。
我々は,中央集権的,階層的,階層的,ホロニックという,4つの代表的な調整パラダイムに注目している。
論文 参考訳(メタデータ) (2026-05-13T08:33:28Z) - Coordination Matters: Evaluation of Cooperative Multi-Agent Reinforcement Learning [1.9806597528054068]
プロセスレベルの診断でリターンを補うコーディネート・アウェア評価の視点を提案する。
制御されたコミットメント制約付き空間的タスク割り当てテストベッドSTATを用いて、この視点をインスタンス化する。
この結果から, 冗長配置の相違, 代入の多様性, タスク補完効率の相違など, 同様のリターン傾向が, 協調機構の相違を反映できることが示唆された。
論文 参考訳(メタデータ) (2026-05-07T16:50:53Z) - Improving the Efficiency of Language Agent Teams with Adaptive Task Graphs [52.26652574704317]
大規模言語モデル(LLM)はますますチームにデプロイされているが、既存のコーディネーションアプローチは2つの極端な部分を占めることが多い。
本稿では,Language Agent Teams for Task Evolution (LATTE)を紹介した。
論文 参考訳(メタデータ) (2026-05-07T14:19:17Z) - OrgAgent: Organize Your Multi-Agent System like a Company [75.47076168155817]
企業スタイルの階層型マルチエージェントフレームワークであるOrgAgentを紹介します。
企業スタイルの階層で組織されたマルチエージェントシステムは、一般的に他の組織構造よりも優れています。
論文 参考訳(メタデータ) (2026-04-01T15:21:14Z) - MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents [59.825725526176655]
大規模言語モデル(LLM)は、自律的なエージェントとして顕著な能力を示している。
既存のベンチマークでは、単一エージェントタスクにフォーカスするか、狭いドメインに限定されており、マルチエージェントのコーディネーションと競合のダイナミクスを捉えていない。
多様な対話シナリオにまたがってLLMベースのマルチエージェントシステムを評価するためのベンチマークであるMultiAgentBenchを紹介する。
論文 参考訳(メタデータ) (2025-03-03T05:18:50Z) - CaPo: Cooperative Plan Optimization for Efficient Embodied Multi-Agent Cooperation [98.11670473661587]
CaPoは,1)メタプラン生成,2)プログレッシブなメタプランと実行の2つのフェーズで協調効率を向上する。
3Dworld Multi-Agent TransportとCommunicative Watch-And-Helpタスクの実験結果は、CaPoが最先端技術と比較してタスク完了率と効率をはるかに高めることを示した。
論文 参考訳(メタデータ) (2024-11-07T13:08:04Z) - RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in
Multi-Agent Deep Reinforcement Learning [55.55009081609396]
本稿では、アドホックな協調シナリオにおいてゼロショットの一般化を実現するRACA(Relation-Aware Credit Assignment)と呼ばれる新しい手法を提案する。
RACAは、エージェント間のトポロジ構造を符号化するために、グラフベースのエンコーダ関係を利用する。
提案手法は,StarCraftIIマイクロマネジメントベンチマークとアドホック協調シナリオのベースライン手法よりも優れている。
論文 参考訳(メタデータ) (2022-06-02T03:39:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。