論文の概要: MAC-Bench: Benchmarking Multi-Agent Collaboration via Interconnected Tasks

• arxiv url: http://arxiv.org/abs/2611.01728v1
• Date: Sun, 01 Nov 2026 09:24:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.494555
• Title: MAC-Bench: Benchmarking Multi-Agent Collaboration via Interconnected Tasks
• Title（参考訳）: MAC-Bench: 相互接続タスクによるマルチエージェントコラボレーションのベンチマーク
• Abstract要約: 相互接続タスクによるマルチエージェント協調評価のためのベンチマークであるMAC-Benchを紹介する。 MAC-Benchは、事前に定義されたエージェントロールや通信プロトコルを導入するのではなく、タスク依存や共有リソース制約に直接、コラボレーション要件を組み込む。
• 参考スコア（独自算出の注目度）: 32.565909905696664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM)-based multi-agent systems (MAS) tackle challenging tasks by dividing work among agents and coordinating their contributions toward shared objectives. Evaluating these systems therefore requires benchmarks that assess not only task-solving performance but also the ability to handle interdependent work. However, existing benchmarks often emphasize task difficulty without substantial collaboration requirements or evaluate only a limited range of predefined collaboration patterns. In this paper, we introduce MAC-Bench, a comprehensive benchmark for evaluating multi-agent collaboration through interconnected tasks. Rather than imposing predefined agent roles or communication protocols, MAC-Bench embeds collaboration requirements directly into task dependencies and shared-resource constraints. Specifically, we mine reusable collaboration structures from selected benchmark tasks at two levels. Local collaboration patterns capture recurring interactions among subtasks, while global task structures characterize how these interactions contribute to complete workflows. Through coarse-to-fine composition, these structures are recombined into task graphs combining different collaboration requirements. Tasks are instantiated in executable environments with automated verification of partial progress and complete task resolution.
• Abstract（参考訳）: 大規模言語モデル(LLM)に基づくマルチエージェントシステム(MAS)は、エージェント間で仕事を分割し、共通の目的に向けて貢献をコーディネートすることで、課題に取り組む。 したがって、これらのシステムを評価するには、タスク解決のパフォーマンスだけでなく、相互依存的な作業を扱う能力を評価するベンチマークが必要である。 しかし、既存のベンチマークでは、かなりのコラボレーション要求なしにタスクの難しさを強調したり、事前定義されたコラボレーションパターンの限られた範囲しか評価しない場合が多い。 本稿では,相互接続タスクによるマルチエージェント協調評価のための総合的なベンチマークであるMAC-Benchを紹介する。 MAC-Benchは、事前に定義されたエージェントロールや通信プロトコルを導入するのではなく、タスク依存や共有リソース制約に直接、コラボレーション要件を組み込む。 具体的には、選択したベンチマークタスクから再利用可能なコラボレーション構造を2レベルにマイニングする。 局所的なコラボレーションパターンはサブタスク間の反復的なインタラクションをキャプチャし、グローバルなタスク構造はこれらのインタラクションが完全なワークフローにどのように貢献するかを特徴付ける。 粗大な構成によって、これらの構造は異なるコラボレーション要求を組み合わせたタスクグラフに再結合される。 タスクは実行可能環境でインスタンス化され、部分的な進捗と完全なタスク解決を自動検証する。

関連論文リスト

• MASBench: Benchmarking LLM-based Multi-Agent Collaboration under Partial Observability [34.63967424201551]
  大規模言語モデル(LLM)は、徐々に自律エージェントのコアへと進化してきた。 このようなシステムの有効性は,エージェント自体だけでなく,コラボレーションメカニズムの設計や組織化にも依存する。 部分的に観測可能な制約の下で設計されたベンチマークであるMASBenchを紹介する。
  論文  参考訳（メタデータ） (2026-10-03T17:40:24Z)
• AsynCodeBench: Benchmarking Collaboration of Asynchronous Multi-Agent Systems in Software Engineering [29.404011829533857]
  マルチエージェントソフトウェアエンジニアリングのための依存性中心ベンチマークであるAsynCodeBenchを紹介する。 AsynCodeBenchは明示的な依存性グラフと実行可能な依存性チェッカーで各タスクを表現する。 コーディング性能の改善が必ずしもコラボレーションの強化につながるとは限らないことを示す。
  論文  参考訳（メタデータ） (2026-09-26T14:19:40Z)
• Improving the Efficiency of Language Agent Teams with Adaptive Task Graphs [52.26652574704317]
  大規模言語モデル(LLM)はますますチームにデプロイされているが、既存のコーディネーションアプローチは2つの極端な部分を占めることが多い。 本稿では,Language Agent Teams for Task Evolution (LATTE)を紹介した。
  論文  参考訳（メタデータ） (2026-05-07T14:19:17Z)
• Effective Strategies for Asynchronous Software Engineering Agents [52.76455094324273]
  本稿では,集中型タスクデリゲート,非同期実行,独立したワークスペースという,3つのSWEプリミティブに根ざした構造化マルチエージェント協調パラダイムを導入する。 CAIDは,紙再生タスク(PaperBench)では26.7%,Pythonライブラリ開発タスクでは14.3%,単一エージェントベースラインでは26.7%の精度向上を実現している。
  論文  参考訳（メタデータ） (2026-03-23T02:26:35Z)
• EmCoop: A Framework and Benchmark for Embodied Cooperation Among LLM Agents [18.802912315746564]
  EmCoopは、組み込みマルチエージェントシステムの協調を研究するためのベンチマークフレームワークである。 我々のフレームワークは、高レベルの認知層と低レベルのエンボディドインタラクション層を分離する。 コラボレーションの品質と障害モードを診断する,一般化可能なプロセスレベルのメトリクスを提案する。
  論文  参考訳（メタデータ） (2026-02-27T22:28:33Z)
• Cross-Task Experiential Learning on LLM-based Multi-Agent Collaboration [63.90193684394165]
  マルチエージェント・クロスタスク体験学習(MAEL)は,LSM駆動型エージェントに明示的なクロスタスク学習と経験蓄積を付与する新しいフレームワークである。 経験的学習フェーズでは、タスク解決ワークフローの各ステップの品質を定量化し、その結果の報酬を記憶する。 推論中、エージェントは、各推論ステップの有効性を高めるために、いくつかの例として、高頻度のタスク関連体験を検索する。
  論文  参考訳（メタデータ） (2025-05-29T07:24:37Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• A Unified Architecture for Dynamic Role Allocation and Collaborative Task Planning in Mixed Human-Robot Teams [0.0]
  任意のサイズの混合ロボットチームにおいて,動的役割割り当てと協調作業計画のための新しいアーキテクチャを提案する。 このアーキテクチャは、動作木(BT)に基づく集中型リアクティブかつモジュール型タスク非依存の計画手法を基盤としている。 MILPコストとして使用されるさまざまなメトリクスにより、アーキテクチャはコラボレーションの様々な側面を好むことができる。
  論文  参考訳（メタデータ） (2023-01-19T12:30:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。