論文の概要: The Collaboration Gap
- arxiv url: http://arxiv.org/abs/2511.02687v1
- Date: Tue, 04 Nov 2025 16:10:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 18:47:06.102334
- Title: The Collaboration Gap
- Title(参考訳): コラボレーションギャップ
- Authors: Tim R. Davidson, Adam Fourney, Saleema Amershi, Robert West, Eric Horvitz, Ece Kamar,
- Abstract要約: i)協調機能を分離し,(ii)問題複雑性を変調し,(iii)スケーラブルな自動グレーディングを可能にし,(iv)出力制約を課さない協調迷路解決ベンチマークを提案する。
このフレームワークを用いて、32個のオープンソースおよびクローズドソースモデルを、単独、同種、異種ペアリングで評価する。
私たちの結果からは,“コラボレーションギャップ”が明らかになっている。
- 参考スコア(独自算出の注目度): 28.553543260404425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The trajectory of AI development suggests that we will increasingly rely on agent-based systems composed of independently developed agents with different information, privileges, and tools. The success of these systems will critically depend on effective collaboration among these heterogeneous agents, even under partial observability. Despite intense interest, few empirical studies have evaluated such agent-agent collaboration at scale. We propose a collaborative maze-solving benchmark that (i) isolates collaborative capabilities, (ii) modulates problem complexity, (iii) enables scalable automated grading, and (iv) imposes no output-format constraints, preserving ecological plausibility. Using this framework, we evaluate 32 leading open- and closed-source models in solo, homogeneous, and heterogeneous pairings. Our results reveal a "collaboration gap": models that perform well solo often degrade substantially when required to collaborate. Collaboration can break down dramatically; for instance, small distilled models that solve mazes well alone may fail almost completely in certain pairings. We find that starting with the stronger agent often improves outcomes, motivating a "relay inference" approach where the stronger agent leads before handing off to the weaker one, closing much of the gap. Our findings argue for (1) collaboration-aware evaluation, (2) training strategies developed to enhance collaborative capabilities, and (3) interaction design that reliably elicits agents' latent skills, guidance that applies to AI-AI and human-AI collaboration.
- Abstract(参考訳): AI開発の流れは、異なる情報、特権、ツールを備えた独立して開発されたエージェントで構成されるエージェントベースのシステムにますます依存していることを示唆している。
これらのシステムの成功は、部分的な可観測性の下でも、これらの異種エージェント間の効果的な協調に批判的に依存する。
強い関心にもかかわらず、このようなエージェントエージェントとエージェントのコラボレーションを大規模に評価する実験的な研究はほとんどない。
協調迷路解決ベンチマークを提案する。
(i)協調機能を分離する
(ii)問題複雑性を調節する。
(iii)スケーラブルな自動階調が可能で、
(iv) 生態学的妥当性を保ちながら、出力形式制約を課さない。
このフレームワークを用いて、32個のオープンソースおよびクローズドソースモデルを、単独、同種、異種ペアリングで評価する。
私たちの結果からは,“コラボレーションギャップ”が明らかになっている。
例えば、迷路をうまく解いた小さな蒸留モデルは、ある種のペアリングでほとんど完全に失敗する可能性がある。
より強いエージェントから始めると、しばしば結果を改善し、より強いエージェントがより弱いエージェントに手渡す"リレー推論"アプローチを動機付け、ギャップの大部分を閉じる。
本研究は,(1)協調意識評価,(2)協調能力向上のためのトレーニング戦略,(3)エージェントの潜伏スキル,AI-AIや人間-AIのコラボレーションに確実に適用できるインタラクション設計について論じる。
関連論文リスト
- Guided Collaboration in Heterogeneous LLM-Based Multi-Agent Systems via Entropy-Based Understanding Assessment and Experience Retrieval [35.96356869281219]
本稿では,強弱系における反直観的現象について述べる。
本稿では,各エージェントの認知状態を動的に調整するエントロピーに基づく適応誘導フレームワークを提案する。
我々のアプローチは、不均一なコラボレーションの有効性と安定性を一貫して向上させる。
論文 参考訳(メタデータ) (2026-02-14T07:10:04Z) - Evaluating Generalization Capabilities of LLM-Based Agents in Mixed-Motive Scenarios Using Concordia [100.74015791021044]
大規模言語モデル(LLM)エージェントは、社会的相互作用の素晴らしい能力を実証している。
既存の評価手法は、これらの能力がいかに新しい社会的状況に一般化するかを測ることに失敗する。
我々は,NeurIPS 2024 Concordia Contestで,エージェントが相互利得を達成する能力について評価した経験的結果を示す。
論文 参考訳(メタデータ) (2025-12-03T00:11:05Z) - Completion $\neq$ Collaboration: Scaling Collaborative Effort with Agents [48.95020665909723]
タスク完了エージェントの構築と評価から,協調エージェントの開発への移行を議論する。
エージェントのユーティリティがユーザ関与の増加とともにどのように成長するかをキャプチャするフレームワークであるコラボレーティブ・ワーク・スケーリングを紹介します。
論文 参考訳(メタデータ) (2025-10-29T17:47:18Z) - Policy Search, Retrieval, and Composition via Task Similarity in Collaborative Agentic Systems [12.471774408499817]
Agentic AIの目的は、自身の目標を設定し、変化に積極的に適応し、継続的な経験を通じて振る舞いを洗練するシステムを作ることだ。
最近の進歩は、複数の予期せぬタスクに直面している場合、エージェントは他のエージェントによって既に完全にあるいは部分的に学習されている機械学習の知識と再利用のポリシーを共有することの恩恵を受ける可能性があることを示唆している。
本研究は,エージェントが選択すべき知識,誰から,いつ,どのように,それを独自の政策に統合して,自身の学習を加速するかを検討する。
論文 参考訳(メタデータ) (2025-06-05T20:38:11Z) - Partner Modelling Emerges in Recurrent Agents (But Only When It Matters) [9.957208220679261]
モデルフリーのRNNエージェントを訓練し、多様なパートナーの集団と協力する。
エージェントがタスク割り当てを制御することで、パートナー行動に影響を与えると、構造化されたパートナーモデリングが出現する。
我々の結果は、パートナーモデリングはモデルのないエージェントで自然に起こる可能性があるが、適切な社会的圧力を課す環境条件下でのみであることを示している。
論文 参考訳(メタデータ) (2025-05-22T22:24:12Z) - When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。
タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
論文 参考訳(メタデータ) (2025-02-21T02:24:43Z) - Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。
シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。
その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
論文 参考訳(メタデータ) (2024-12-20T09:21:15Z) - Multi-agent cooperation through learning-aware policy gradients [53.63948041506278]
利己的な個人はしばしば協力に失敗し、マルチエージェント学習の根本的な課題を提起する。
本稿では,学習型強化学習のための,偏見のない高導出性ポリシー勾配アルゴリズムを提案する。
我々は, 受刑者のジレンマから, 自己関心のある学習エージェントの間でどのように, いつ, 協力関係が生じるかの新たな説明を得た。
論文 参考訳(メタデータ) (2024-10-24T10:48:42Z) - Collaboration Dynamics and Reliability Challenges of Multi-Agent LLM Systems in Finite Element Analysis [3.437656066916039]
インターエイジェントダイナミクスが推論の品質と信頼性にどのように影響するかは、まだ不明である。
線形弾性有限要素解析(FEA)のためのAutoGenベースのマルチエージェントフレームワークを用いたこれらのメカニズムについて検討する。
1,120のコントロールされたトライアルから、コラボレーションの有効性は、チームのサイズよりも機能的な相補性に依存することが分かりました。
論文 参考訳(メタデータ) (2024-08-23T23:11:08Z) - Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳(メタデータ) (2024-02-20T11:03:36Z) - Aligning Individual and Collective Objectives in Multi-Agent Cooperation [18.082268221987956]
混合モチベーション協調は、マルチエージェント学習における最も顕著な課題の1つである。
textbftextitAltruistic textbftextitGradient textbftextitAdjustment (textbftextitAgA) という新しい最適化手法を導入する。
我々は,ベンチマーク環境によるAgAアルゴリズムの有効性を評価し,小規模エージェントとの混合モチベーションを検証した。
論文 参考訳(メタデータ) (2024-02-19T08:18:53Z) - ProAgent: Building Proactive Cooperative Agents with Large Language
Models [89.53040828210945]
ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。
ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。
ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
論文 参考訳(メタデータ) (2023-08-22T10:36:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。