論文の概要: Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration

• arxiv url: http://arxiv.org/abs/2412.15701v1
• Date: Fri, 20 Dec 2024 09:21:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:21:45.685617
• Title: Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration
• Title（参考訳）: Collaborative Gym: ヒューマンエージェントコラボレーションの実現と評価のためのフレームワーク
• Authors: Yijia Shao, Vinay Samuel, Yucheng Jiang, John Yang, Diyi Yang,
• Abstract要約: Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
• 参考スコア（独自算出の注目度）: 51.452664740963066
• License:
• Abstract: Recent advancements in language models (LMs) have sparked growing interest in developing LM agents. While fully autonomous agents could excel in many scenarios, numerous use cases inherently require them to collaborate with humans due to humans' latent preferences, domain expertise, or need for control. To facilitate the study of human-agent collaboration, we present Collaborative Gym (Co-Gym), a general framework enabling asynchronous, tripartite interaction among agents, humans, and task environments. We instantiate Co-Gym with three representative tasks in both simulated and real-world conditions, and propose an evaluation framework that assesses both the collaboration outcomes and processes. Our findings reveal that collaborative agents consistently outperform their fully autonomous counterparts in task performance within those delivered cases, achieving win rates of 86% in Travel Planning, 74% in Tabular Analysis, and 66% in Related Work when evaluated by real users. However, our study also highlights significant challenges in developing collaborative agents, requiring advancements in core aspects of intelligence -- communication capabilities, situational awareness, and balancing autonomy and human control.
• Abstract（参考訳）: 言語モデル(LM)の最近の進歩は、LMエージェントの開発への関心が高まっている。 完全に自律的なエージェントは多くのシナリオで優れているが、多くのユースケースは本質的に人間と協力する必要がある。 エージェント,人間,タスク環境間の非同期・三部間相互作用を可能にする汎用フレームワークであるCo-Gymを提案する。 シミュレーションと実環境の両方において,Co-Gymを3つの代表的なタスクでインスタンス化し,コラボレーションの結果とプロセスの両方を評価する評価フレームワークを提案する。 その結果,共同作業員は,実際のユーザによる評価では,旅行計画の86%,タブラル分析の74%,関連作業の66%の勝利率を達成できた。 しかし、我々の研究は、協調エージェントの開発における重要な課題、知性の中核的な側面、コミュニケーション能力、状況認識、自律性と人間のコントロールのバランスといった進歩の必要性も強調している。

関連論文リスト

• COMMA: A Communicative Multimodal Multi-Agent Benchmark [7.831385481814481]
  本稿では,言語コミュニケーションによるマルチモーダルマルチエージェントシステムの協調性能を評価するための新しいベンチマークを提案する。 オープンソースモデルとクローズドソースモデルを用いてエージェントエージェントとエージェント-ヒューマンのコラボレーションをテストすることにより、最先端モデルにおける驚くほどの弱点が明らかとなった。
  論文  参考訳（メタデータ） (2024-10-10T02:49:47Z)
• Mutual Theory of Mind in Human-AI Collaboration: An Empirical Study with LLM-driven AI Agents in a Real-time Shared Workspace Task [56.92961847155029]
  心の理論(ToM)は、他人を理解する上で重要な能力として、人間の協調とコミュニケーションに大きな影響を及ぼす。 Mutual Theory of Mind (MToM) は、ToM能力を持つAIエージェントが人間と協力するときに発生する。 エージェントのToM能力はチームのパフォーマンスに大きな影響を与えず,エージェントの人間的理解を高めていることがわかった。
  論文  参考訳（メタデータ） (2024-09-13T13:19:48Z)
• Cognitive Insights and Stable Coalition Matching for Fostering Multi-Agent Cooperation [6.536780912510439]
  本稿では,ToMレベルの異なるエージェントの強度を利用する新しい連立機構を提案する。 我々の研究は、ToMを活用して、より高度で人間らしいコーディネーション戦略を構築する可能性を実証しています。
  論文  参考訳（メタデータ） (2024-05-28T10:59:33Z)
• Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
  分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。 動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
  論文  参考訳（メタデータ） (2024-03-11T09:21:11Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• MetaAgents: Simulating Interactions of Human Behaviors for LLM-based Task-oriented Coordination via Collaborative Generative Agents [27.911816995891726]
  我々は,一貫した行動パターンと課題解決能力を備えたLLMベースのエージェントを,協調的生成エージェントとして導入する。 本研究では,人間のような推論能力と専門的スキルを備えた協調生成エージェントを実現する新しい枠組みを提案する。 我々の研究は、タスク指向の社会シミュレーションにおける大規模言語モデルの役割と進化に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-10T10:17:58Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• Building Cooperative Embodied Agents Modularly with Large Language Models [104.57849816689559]
  本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。 我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。 C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
  論文  参考訳（メタデータ） (2023-07-05T17:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。