論文の概要: Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration

• arxiv url: http://arxiv.org/abs/2412.15701v2
• Date: Thu, 16 Jan 2025 07:01:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 16:36:31.883575
• Title: Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration
• Title（参考訳）: Collaborative Gym: ヒューマンエージェントコラボレーションの実現と評価のためのフレームワーク
• Authors: Yijia Shao, Vinay Samuel, Yucheng Jiang, John Yang, Diyi Yang,
• Abstract要約: Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
• 参考スコア（独自算出の注目度）: 51.452664740963066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in language models (LMs) have sparked growing interest in developing LM agents. While fully autonomous agents could excel in many scenarios, numerous use cases inherently require them to collaborate with humans due to humans' latent preferences, domain expertise, or need for control. To facilitate the study of human-agent collaboration, we present Collaborative Gym (Co-Gym), a general framework enabling asynchronous, tripartite interaction among agents, humans, and task environments. We instantiate Co-Gym with three representative tasks in both simulated and real-world conditions, and propose an evaluation framework that assesses both the collaboration outcomes and processes. Our findings reveal that collaborative agents consistently outperform their fully autonomous counterparts in task performance within those delivered cases, achieving win rates of 86% in Travel Planning, 74% in Tabular Analysis, and 66% in Related Work when evaluated by real users. However, our study also highlights significant challenges in developing collaborative agents, requiring advancements in core aspects of intelligence -- communication capabilities, situational awareness, and balancing autonomy and human control.
• Abstract（参考訳）: 言語モデル(LM)の最近の進歩は、LMエージェントの開発への関心が高まっている。 完全に自律的なエージェントは多くのシナリオで優れているが、多くのユースケースは本質的に人間と協力する必要がある。 エージェント,人間,タスク環境間の非同期・三部間相互作用を可能にする汎用フレームワークであるCo-Gymを提案する。 シミュレーションと実環境の両方において,Co-Gymを3つの代表的なタスクでインスタンス化し,コラボレーションの結果とプロセスの両方を評価する評価フレームワークを提案する。 その結果,共同作業員は,実際のユーザによる評価では,旅行計画の86%,タブラル分析の74%,関連作業の66%の勝利率を達成できた。 しかし、我々の研究は、協調エージェントの開発における重要な課題、知性の中核的な側面、コミュニケーション能力、状況認識、自律性と人間のコントロールのバランスといった進歩の必要性も強調している。

関連論文リスト

• Cross-environment Cooperation Enables Zero-shot Multi-agent Coordination [37.90912492084769]
  本研究では,単一パートナーによる環境分布の強化学習が,一般的な協調学習の学習にどのように役立つかを検討する。 何十億もの解決可能な調整課題を生み出すJaxベースの手続き型ジェネレータを2つ導入する。 本研究は,様々なシナリオにまたがって協調学習を行うことによって,エージェントが一般的な規範を発達させることを示唆している。
  論文  参考訳（メタデータ） (2025-04-17T07:41:25Z)
• Human-AI Collaboration: Trade-offs Between Performance and Preferences [5.172575113585139]
  人間の行動に配慮したエージェントは、純粋にパフォーマンスを最大化するエージェントよりも好まれることを示す。 我々は、不平等-逆転効果が人間の選択の原動力であることの証拠を見つけ、人々がチームへの有意義な貢献を可能にする協力的なエージェントを好むことを示唆している。
  論文  参考訳（メタデータ） (2025-02-28T23:50:14Z)
• Who is Helping Whom? Analyzing Inter-dependencies to Evaluate Cooperation in Human-AI Teaming [14.489157453882767]
  本稿では, エージェントが相互の行動にどの程度依存しているかを測定するために, 相互依存の概念を提案する。 私たちは、MARL for HATでトレーニングされた最先端のエージェントと、人気のあるオーバークッキングドメインの学習された人間モデルとをペアにし、これらのヒューマンエージェントチームのチームパフォーマンスを評価します。
  論文  参考訳（メタデータ） (2025-02-10T19:16:20Z)
• Mutual Theory of Mind in Human-AI Collaboration: An Empirical Study with LLM-driven AI Agents in a Real-time Shared Workspace Task [56.92961847155029]
  心の理論(ToM)は、他人を理解する上で重要な能力として、人間の協調とコミュニケーションに大きな影響を及ぼす。 Mutual Theory of Mind (MToM) は、ToM能力を持つAIエージェントが人間と協力するときに発生する。 エージェントのToM能力はチームのパフォーマンスに大きな影響を与えず,エージェントの人間的理解を高めていることがわかった。
  論文  参考訳（メタデータ） (2024-09-13T13:19:48Z)
• Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
  分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。 動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
  論文  参考訳（メタデータ） (2024-03-11T09:21:11Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• MetaAgents: Simulating Interactions of Human Behaviors for LLM-based Task-oriented Coordination via Collaborative Generative Agents [27.911816995891726]
  我々は,一貫した行動パターンと課題解決能力を備えたLLMベースのエージェントを,協調的生成エージェントとして導入する。 本研究では,人間のような推論能力と専門的スキルを備えた協調生成エージェントを実現する新しい枠組みを提案する。 我々の研究は、タスク指向の社会シミュレーションにおける大規模言語モデルの役割と進化に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-10T10:17:58Z)
• LLM-Coordination: Evaluating and Analyzing Multi-agent Coordination Abilities in Large Language Models [23.092480882456048]
  本研究では,Pure Coordination Games の文脈におけるLarge Language Models (LLM) の詳細な解析を目的とした。 以上の結果から, GPT-4-turbo を併用した LLM エージェントは, 最先端の強化学習法に匹敵する性能を示した。 コーディネーションQAの結果は、LLMのマインド推論と共同計画能力の向上のための大きな空間を示している。
  論文  参考訳（メタデータ） (2023-10-05T21:18:15Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• Building Cooperative Embodied Agents Modularly with Large Language Models [104.57849816689559]
  本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。 我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。 C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
  論文  参考訳（メタデータ） (2023-07-05T17:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。