論文の概要: Specialize Roles, Mix Deployments: Pushing the Cost-Accuracy Frontier of LLM Agent Teams
- arxiv url: http://arxiv.org/abs/2606.20629v1
- Date: Thu, 28 May 2026 17:12:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 23:03:55.975292
- Title: Specialize Roles, Mix Deployments: Pushing the Cost-Accuracy Frontier of LLM Agent Teams
- Title（参考訳）: 役割の専門化,ミックスデプロイメント - LLMエージェントチームのコスト精度フロンティアの推進
- Abstract要約: LLMエージェントは、プランナー、エグゼキュータ、検証といった特別な役割にタスクを分割するマルチロールチームとして、ますます多くデプロイされている。
既存のエージェントベンチマークは、固定モデルまたは固定エージェント構成を評価し、コスト-正確/最適デプロイメントのための限定的なガイダンスを提供する。
本稿では,LLMエージェントチームを評価するためのロール対応ベンチマークスイートであるAgentCARDについて紹介する。
- 参考スコア（独自算出の注目度）: 14.784600350594614
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: LLM agents are increasingly deployed as multi-role teams, where tasks are divided across specialized roles such as planner, executor, and verifier. In these systems, cost and accuracy are no longer properties of a single model: they depend on which model fills each role and where it is hosted, including API, self-hosted, and hybrid deployment. Existing agentic benchmarks typically evaluate fixed models or fixed agent configurations, and therefore offer limited guidance for cost-accuracy-optimal deployment. We introduce AgentCARD, a role-aware benchmark suite for evaluating LLM agent teams across role assignment and deployment mode. AgentCARD combines a role-decomposed evaluation harness, a unified API/self-hosted cost model, Pareto-frontier analysis, and a Shapley-based diagnostic for identifying role bottlenecks. Our evaluation shows that heterogeneous teams consistently occupy the cost-accuracy frontier. They improve accuracy by up to $44\%$ over cost-equivalent homogeneous teams, or match the strongest homogeneous team at up to $12\times$ lower per-task cost through hybrid deployment. We further find that the best role assignment is domain-dependent: some domains are planner-bottlenecked, while others are executor-bottlenecked. Finally, AgentCARD extends beyond planner--executor teams to workflows with additional roles such as verification, and supports continual evaluation as new domains and team structures emerge. Our code is released at: https://github.com/Auto-CAP/AgentCAP
- Abstract（参考訳）: LLMエージェントは、プランナー、エグゼキュータ、検証といった特別な役割にタスクを分割するマルチロールチームとして、ますます多くデプロイされている。
これらのシステムでは、コストと正確性はもはや単一モデルの特性ではなく、どのモデルが各ロールを充足するか、どのモデルがホストされているかに依存します。
既存のエージェントベンチマークは通常、固定モデルまたは固定エージェント構成を評価し、そのためコスト-正確/最適デプロイメントのための限定的なガイダンスを提供する。
本稿では,LLMエージェントチームを評価するためのロール対応ベンチマークスイートであるAgentCARDについて紹介する。
AgentCARDは、ロール分解評価ハーネス、統一API/自己ホスト型コストモデル、Pareto-frontier分析、ロールボトルネックを特定するためのShapleyベースの診断を組み合わせたものだ。
我々の評価は、異種チームが一貫してコスト-正確性フロンティアを占有していることを示している。
コスト等価な同種チームよりも最大4,4\%の精度向上や、ハイブリッドデプロイメントを通じてタスク毎のコストを最大12,12\timesで最強の同種チームと一致させる。
ドメインによってはプランナーがコンテナ化され、他のドメインはエグゼクティブがコンテナ化されています。
最後に、AgentCARDはプランナー-エグゼクティブチームを超えて、検証などの追加の役割を持つワークフローを拡張し、新しいドメインやチーム構造が出現するにつれて継続的な評価をサポートする。
私たちのコードは、https://github.com/Auto-CAP/AgentCAPでリリースされています。
関連論文リスト
- Markets, Not Planners: Decentralized Orchestration of LLM Agents with Private Information [16.55988307561715]
我々はAgentLanceを導入し、エージェントが個人のコストと自己維持戦略ノートを使ってタスクを入札する労働市場について紹介する。
AgentLanceは、単一モデル、集中型オーケストレーション、市場ベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-08-24T22:15:37Z) - AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints [0.0]
AgentSLABenchは、自律型AIエージェントのためのリソース認識評価フレームワークである。
宣言されたリソース予算の下で、レイテンシ、コスト、計算、メモリ、ネットワーク使用量とともに正確性を測定する。
論文 参考訳（メタデータ） (2026-08-01T18:17:47Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳（メタデータ） (2026-06-30T06:06:08Z) - CFAgentBench: A Reproducible Environment and Benchmark for Autonomous Construction-Finance Agents [0.0]
CFAgentBenchは、自律的な建設ファイナンスエージェントのベンチマークである。
8つのドメインと77のファミリーにまたがる1014のマシングレード可能なタスク仕様を含んでいる。
最強のエージェントはpass1 = 0.67に達するが、pass5 = 0.38のみである。
論文 参考訳（メタデータ） (2026-06-20T11:34:52Z) - Benchmarking Open-Ended Multi-Agent Coordination in Language Agents [48.1363632826625]
Alemは、手続き的に生成されたコーディネーションタスク、ソフトな特殊化、コミュニケーション、制御可能なコーディネーションの難しさを、長い水平サバイバルの世界に埋め込む。
Craftaxライクなダイナミックス上に構築されたオープンなマルチエージェント協調のためのJAXベースのベンチマークである$alem$を紹介します。
論文 参考訳（メタデータ） (2026-06-06T21:13:43Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - AgentOpt v0.1 Technical Report: Client-Side Optimization for LLM-Based Agent [18.58248061903799]
AgentOptは、クライアントサイドAI最適化のための最初のフレームワークに依存しないPythonパッケージである。
我々はまず,マルチステップエージェントパイプラインにおける高インパクト最適化レバーであるモデル選択について検討する。
指数関数的に増加する組み合わせ空間を効率的に探索するために、AgentOptは10の検索アルゴリズムを実装している。
論文 参考訳（メタデータ） (2026-04-07T17:13:47Z) - Multi-Agent Deep Research: Training Multi-Agent Systems with M-GRPO [24.532870400949424]
現在の訓練方法は、システム内のすべてのエージェントに対して統一された大きな言語モデルを訓練する。
これにより、異なるエージェントの基本的な分布が異なるため、パフォーマンスが制限される可能性がある。
垂直多エージェントシステムに対するグループ相対ポリシー最適化の階層的拡張であるM-GRPOを提案する。
論文 参考訳（メタデータ） (2025-11-17T12:06:30Z) - AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。
プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。
AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
論文 参考訳（メタデータ） (2025-11-11T14:57:54Z) - Multi-Agent Tool-Integrated Policy Optimization [67.12841355267678]
大規模言語モデル(LLM)は、知識集約的かつ複雑な推論タスクに対して、多ターンツール統合計画にますます依存している。
既存の実装は通常、単一のエージェントに依存するが、コンテキスト長とノイズの多いツールレスポンスに悩まされる。
ツール統合マルチエージェントフレームワークの効果的な強化学習をサポートする方法はない。
論文 参考訳（メタデータ） (2025-10-06T10:44:04Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳（メタデータ） (2024-08-02T03:25:20Z) - A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration [55.35849138235116]
本稿では,様々なタスクやドメインに対する動的コミュニケーション構造において,候補からエージェントのチームを自動的に選択する手法を提案する。
具体的には, LLMを利用したエージェント協調のための動的LLMパワーエージェントネットワーク(textDyLAN$)というフレームワークを構築した。
我々は、コード生成、意思決定、一般的な推論、算術的推論タスクにおいて、適度な計算コストで、DyLANが強力なベースラインを上回ることを実証する。
論文 参考訳（メタデータ） (2023-10-03T16:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。