論文の概要: The Collaboration Gap
- arxiv url: http://arxiv.org/abs/2511.02687v1
- Date: Tue, 04 Nov 2025 16:10:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 18:47:06.102334
- Title: The Collaboration Gap
- Title(参考訳): コラボレーションギャップ
- Authors: Tim R. Davidson, Adam Fourney, Saleema Amershi, Robert West, Eric Horvitz, Ece Kamar,
- Abstract要約: i)協調機能を分離し,(ii)問題複雑性を変調し,(iii)スケーラブルな自動グレーディングを可能にし,(iv)出力制約を課さない協調迷路解決ベンチマークを提案する。
このフレームワークを用いて、32個のオープンソースおよびクローズドソースモデルを、単独、同種、異種ペアリングで評価する。
私たちの結果からは,“コラボレーションギャップ”が明らかになっている。
- 参考スコア(独自算出の注目度): 28.553543260404425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The trajectory of AI development suggests that we will increasingly rely on agent-based systems composed of independently developed agents with different information, privileges, and tools. The success of these systems will critically depend on effective collaboration among these heterogeneous agents, even under partial observability. Despite intense interest, few empirical studies have evaluated such agent-agent collaboration at scale. We propose a collaborative maze-solving benchmark that (i) isolates collaborative capabilities, (ii) modulates problem complexity, (iii) enables scalable automated grading, and (iv) imposes no output-format constraints, preserving ecological plausibility. Using this framework, we evaluate 32 leading open- and closed-source models in solo, homogeneous, and heterogeneous pairings. Our results reveal a "collaboration gap": models that perform well solo often degrade substantially when required to collaborate. Collaboration can break down dramatically; for instance, small distilled models that solve mazes well alone may fail almost completely in certain pairings. We find that starting with the stronger agent often improves outcomes, motivating a "relay inference" approach where the stronger agent leads before handing off to the weaker one, closing much of the gap. Our findings argue for (1) collaboration-aware evaluation, (2) training strategies developed to enhance collaborative capabilities, and (3) interaction design that reliably elicits agents' latent skills, guidance that applies to AI-AI and human-AI collaboration.
- Abstract(参考訳): AI開発の流れは、異なる情報、特権、ツールを備えた独立して開発されたエージェントで構成されるエージェントベースのシステムにますます依存していることを示唆している。
これらのシステムの成功は、部分的な可観測性の下でも、これらの異種エージェント間の効果的な協調に批判的に依存する。
強い関心にもかかわらず、このようなエージェントエージェントとエージェントのコラボレーションを大規模に評価する実験的な研究はほとんどない。
協調迷路解決ベンチマークを提案する。
(i)協調機能を分離する
(ii)問題複雑性を調節する。
(iii)スケーラブルな自動階調が可能で、
(iv) 生態学的妥当性を保ちながら、出力形式制約を課さない。
このフレームワークを用いて、32個のオープンソースおよびクローズドソースモデルを、単独、同種、異種ペアリングで評価する。
私たちの結果からは,“コラボレーションギャップ”が明らかになっている。
例えば、迷路をうまく解いた小さな蒸留モデルは、ある種のペアリングでほとんど完全に失敗する可能性がある。
より強いエージェントから始めると、しばしば結果を改善し、より強いエージェントがより弱いエージェントに手渡す"リレー推論"アプローチを動機付け、ギャップの大部分を閉じる。
本研究は,(1)協調意識評価,(2)協調能力向上のためのトレーニング戦略,(3)エージェントの潜伏スキル,AI-AIや人間-AIのコラボレーションに確実に適用できるインタラクション設計について論じる。
関連論文リスト
- Completion $\neq$ Collaboration: Scaling Collaborative Effort with Agents [48.95020665909723]
タスク完了エージェントの構築と評価から,協調エージェントの開発への移行を議論する。
エージェントのユーティリティがユーザ関与の増加とともにどのように成長するかをキャプチャするフレームワークであるコラボレーティブ・ワーク・スケーリングを紹介します。
論文 参考訳(メタデータ) (2025-10-29T17:47:18Z) - Policy Search, Retrieval, and Composition via Task Similarity in Collaborative Agentic Systems [12.471774408499817]
Agentic AIの目的は、自身の目標を設定し、変化に積極的に適応し、継続的な経験を通じて振る舞いを洗練するシステムを作ることだ。
最近の進歩は、複数の予期せぬタスクに直面している場合、エージェントは他のエージェントによって既に完全にあるいは部分的に学習されている機械学習の知識と再利用のポリシーを共有することの恩恵を受ける可能性があることを示唆している。
本研究は,エージェントが選択すべき知識,誰から,いつ,どのように,それを独自の政策に統合して,自身の学習を加速するかを検討する。
論文 参考訳(メタデータ) (2025-06-05T20:38:11Z) - Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。
シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。
その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
論文 参考訳(メタデータ) (2024-12-20T09:21:15Z) - ProAgent: Building Proactive Cooperative Agents with Large Language
Models [89.53040828210945]
ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。
ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。
ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
論文 参考訳(メタデータ) (2023-08-22T10:36:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。