論文の概要: Does Multi-Agent Collaboration Pay When Agents Serve Users? Testing Agent Scaling in Dual-Control Settings
- arxiv url: http://arxiv.org/abs/2610.27655v1
- Date: Tue, 20 Oct 2026 05:13:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.66054
- Title: Does Multi-Agent Collaboration Pay When Agents Serve Users? Testing Agent Scaling in Dual-Control Settings
- Title（参考訳）: エージェントがユーザを満足させるとき、マルチエージェントコラボレーションは有償か? デュアル・コントロル環境でのスケーリングテスト
- Abstract要約: 言語モデルから構築されたマルチエージェントシステム(MAS)は、コラボレーションが単一エージェントシステム(SAS)を上回るという前提でデプロイされる。
SASが弱く、強いと痛くなり、シングルエージェントの精度が45%に近づき、調整が役立ちます。
- 参考スコア（独自算出の注目度）: 2.34032202261205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent systems (MAS) built from language models are deployed on the premise that collaboration beats a single-agent system (SAS), yet when it pays is unclear. The most systematic study to date gives a capability-saturation rule: coordination helps while the SAS is weak and hurts once it is strong, with the crossing near 45% single-agent accuracy. That rule was derived on autonomous benchmarks, where no user takes part. We test it where agents now work: in conversation with a user under a written policy, on $τ^2$-bench, the dual-control benchmark. On its airline, retail and telecom domains we compare the stock SAS with a centralized MAS built from the same model for six models from three families, over about 7,950 simulated conversations, with one completion-token ledger per episode per system. The study was pre-registered with a public change log; the MAS is reported as built, with one validity bar unmet (its planner never saw the tool schemas). Under a fixed simulated user no cell shows a MAS benefit: the MAS is worse in 12 of the 13 valid cells and tied in the thirteenth, and the fitted gain is negative across the observed capability range (weighted mean -28 points, 95% CI [-44, -12]). On the two cells where the rule predicts a benefit, the MAS loses by 13 and 22 points, and without a budget ceiling it at best draws level at 5.5 times the SAS's token spend. The one gain appears on the cell nearest 45%, under a second simulator. Whether the gain declines with capability is unresolved (slope -0.41, 95% CI [-1.51, +0.68]), because model-by-domain effects dominate. The MAS does not detectably reduce wrongful database writes; it converts other failures into budget exhaustion and inaction. For agents that serve people, the SAS is the default; a multi-agent design must show compute-matched evidence from the setting itself. We release all trajectories, ledgers, prompts and code.
- Abstract（参考訳）: 言語モデルから構築されたマルチエージェントシステム(MAS)は、コラボレーションが単一エージェントシステム(SAS)を上回るという前提でデプロイされる。
調整はSASが弱く、強いと傷つくのに役立ち、シングルエージェントの精度は45%近くである。
このルールは、ユーザーが参加しない自律的なベンチマークに基づいています。
エージェントが動作する場所をテストします – 記述されたポリシの下でユーザと対話することで,デュアルコントロールのベンチマークである$τ^2$-benchを使用できます。
航空会社、小売、テレコムのドメインでは、SASと、同じモデルで作られた3つのファミリーの6つのモデルのMASを比較します。
調査は公開変更ログで事前登録され、MASは構築されたと報告され、1つの妥当性バーがアンメットされている(プランナーはツールスキーマを見たことがない)。
固定擬似ユーザ下では、MASは13個の有効なセルのうち12個で悪化し、13個に縛り付けられ、測定能力範囲(重み付き平均−28点、95% CI[-44, -12])で適合利得が負となる。
利益を予想する2つのセルでは、MASは13ポイントと22ポイント減少し、予算の上限がなければ、SASのトークン支出の5.5倍のレベルが引き出される。
1つの利得はセルに最も近い45%、第2のシミュレーターの下に現れる。
モデル・バイ・ドメイン効果が支配的であるため、能力による利得低下は未解決である(-0.41, 95% CI [-1.51, +0.68])。
MASは、不正なデータベース書き込みを確実に低減しない。
SASはデフォルトであり、マルチエージェントの設計では、設定自体から計算に適合した証拠を示さなければならない。
すべてのトラジェクトリ、台帳、プロンプト、コードをリリースします。
関連論文リスト
- Why Do Agent Teams Fail Across Boundaries? A Failure Taxonomy for Agent-to-Agent Systems with Private States [96.00953129073133]
エージェント・ツー・エージェント(A2A)のシナリオでは、各エージェントは独自の環境を持ち、他のエージェントが見ることができない情報と権限を持っている。
既存のマルチエージェントシステム障害研究では、1つのオーケストレータ、共有ワークスペース、または1つのプリンシパルが想定されている。
我々は、異なるエージェントハーネスとモデルで構築された2500以上のA2Aシステムについて研究する。
論文 参考訳（メタデータ） (2026-10-14T00:36:08Z) - Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。
結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。
ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
論文 参考訳（メタデータ） (2026-10-01T12:55:07Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - Zero-Shot Self-Orchestration with Ledger-Based Control for Improved LLM Coding Performance [2.8543100656957883]
共有作業空間に対する管理作業者の足場の影響について検討する。
監督のオプス5は1回のパスで91%の得点を記録した。
マネジャーの実行はトークンの請求書を3倍にしますが、より大きなモデルに移行するよりも、より安価で精度が得られます。
論文 参考訳（メタデータ） (2026-08-27T00:11:41Z) - Deployment Decision Reliability: A Generalizability-Theory Framework for Sizing Long-Horizon Agent Evaluations [0.0]
3つのオープンエージェントトレースベンチマークで、エージェントのメインエフェクトが各データセットとチェックタイプにおける全分散の3%未満を占めていることを示す。
3つの推定器に適合する4面の一般化可能性理論の分散分解を通してこれを達成する。
これをデプロイ決定信頼性(DDR:Deployment Decision Reliability)という,分散コンポーネントテーブルを企業購入者が防御できる5つの決定に変換する,ワンページレポートの規律にパッケージ化します。
論文 参考訳（メタデータ） (2026-08-11T18:16:51Z) - When Does Restricting a Coding Agent to execute_code Help? A Regime $\times$ Agent-Design Ablation [20.672156968511587]
合成計算タスクとSWE-bench Mini修正タスクにおける3アームアブレーション(ベースライン/bash_only/code_only)の比較を行った。
結果として得られた4つの(登録、エージェント)細胞全体で、エージェントを1つの execute_code MCP ツールに制限することは、最も安価なツールリッチなライバルである -- あるいは統計的に結びついている -- よりも安価である。
唯一の例外はSWE-bench/Claudeである。
論文 参考訳（メタデータ） (2026-07-12T04:52:08Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳（メタデータ） (2026-06-30T06:06:08Z) - Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets [14.028807574426748]
データ処理の不等式に基づく情報理論の議論を示す。
トークンを一定に保った場合,SASはマルチホップ推論タスクにおいてMASと一貫して一致し,より優れることがわかった。
以上の結果から,マルチホップ推論タスクにおいて,マルチエージェントシステムのアドバンテージを未計算の計算や文脈効果によってよりよく説明できることが示唆された。
論文 参考訳（メタデータ） (2026-04-02T18:47:48Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Single-agent or Multi-agent Systems? Why Not Both? [2.7635437118448554]
マルチエージェントシステム(MAS)は複雑なタスクを分解し、サブタスクを異なる言語モデル(LLM)エージェントやツールに委譲する。
我々は,MASと単一エージェントシステム(SAS)を比較した実証的研究を行った。
我々の設計では、さまざまなエージェントアプリケーションに対して、デプロイメントコストを最大20%削減しながら、精度を1.1-12%向上させる。
論文 参考訳（メタデータ） (2025-05-23T18:30:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。