論文の概要: Who is Helping Whom? Analyzing Inter-dependencies to Evaluate Cooperation in Human-AI Teaming

• arxiv url: http://arxiv.org/abs/2502.06976v2
• Date: Mon, 02 Jun 2025 01:06:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 16:22:43.061975
• Title: Who is Helping Whom? Analyzing Inter-dependencies to Evaluate Cooperation in Human-AI Teaming
• Title（参考訳）: 誰が誰を助けているのか?人間-AIチームにおける協力評価のための相互依存の分析
• Authors: Upasana Biswas, Vardhan Palod, Siddhant Bhambri, Subbarao Kambhampati,
• Abstract要約: 本研究では,人間とエージェントの協力関係を評価するための重要な指標として,建設的相互依存の概念を提案する。 その結果,訓練されたエージェントは高いタスク報酬を得られるが,協調行動の誘発には失敗していることがわかった。 分析の結果,チームリングのパフォーマンスは必ずしもタスク報酬と相関していないことが明らかとなり,タスク報酬だけでは協調を確実に測定できないことがわかった。
• 参考スコア（独自算出の注目度）: 13.263258837438045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art methods for Human-AI Teaming and Zero-shot Cooperation focus on task completion, i.e., task rewards, as the sole evaluation metric while being agnostic to how the two agents work with each other. Furthermore, subjective user studies only offer limited insight into the quality of cooperation existing within the team. Specifically, we are interested in understanding the cooperative behaviors arising within the team when trained agents are paired with humans -- a problem that has been overlooked by the existing literature. To formally address this problem, we propose the concept of constructive interdependence -- measuring how much agents rely on each other's actions to achieve the shared goal -- as a key metric for evaluating cooperation in human-agent teams. We interpret interdependence in terms of action interactions in a STRIPS formalism, and define metrics that allow us to assess the degree of reliance between the agents' actions. We pair state-of-the-art agents HAT with learned human models as well as human participants in a user study for the popular Overcooked domain, and evaluate the task reward and teaming performance for these human-agent teams. Our results demonstrate that although trained agents attain high task rewards, they fail to induce cooperative behavior, showing very low levels of interdependence across teams. Furthermore, our analysis reveals that teaming performance is not necessarily correlated with task reward, highlighting that task reward alone cannot reliably measure cooperation arising in a team.
• Abstract（参考訳）: 人間-AIチームとゼロショット協調のための最先端の手法は、タスク完了、すなわちタスク報酬を、二つのエージェントが互いにどのように機能するかを知らないまま、唯一の評価基準として重視する。 さらに、主観的ユーザスタディは、チーム内に存在する協力の質について、限られた洞察しか提供しません。 具体的には、トレーニングされたエージェントが、既存の文献で見過ごされている問題である人間とペアになったときに、チーム内で発生する協調行動を理解することに興味があります。この問題に正式に対処するために、構築的相互依存の概念を提案します。 我々は、STRIPS形式主義における行動相互作用の観点で相互依存を解釈し、エージェントの行動間の信頼度を評価するためのメトリクスを定義する。 最先端のエージェントHATと学習された人間のモデルと、人気のあるオーバークッキングドメインのユーザスタディにおける人間の参加者をペアにし、これらのヒューマンエージェントチームに対するタスク報酬とチームパフォーマンスを評価します。 その結果、訓練されたエージェントは高いタスク報酬を得るが、協調行動の誘発に失敗し、チーム間での相互依存が極めて低いことが示された。 さらに,本分析の結果から,チーム内の協力関係を確実に評価できないこと,タスク報酬とチームパフォーマンスが必ずしも相関していないことが明らかとなった。

関連論文リスト

• Human-AI Collaboration: Trade-offs Between Performance and Preferences [5.172575113585139]
  人間の行動に配慮したエージェントは、純粋にパフォーマンスを最大化するエージェントよりも好まれることを示す。 我々は、不平等-逆転効果が人間の選択の原動力であることの証拠を見つけ、人々がチームへの有意義な貢献を可能にする協力的なエージェントを好むことを示唆している。
  論文  参考訳（メタデータ） (2025-02-28T23:50:14Z)
• Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [51.452664740963066]
  Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-12-20T09:21:15Z)
• Mutual Theory of Mind in Human-AI Collaboration: An Empirical Study with LLM-driven AI Agents in a Real-time Shared Workspace Task [56.92961847155029]
  心の理論(ToM)は、他人を理解する上で重要な能力として、人間の協調とコミュニケーションに大きな影響を及ぼす。 Mutual Theory of Mind (MToM) は、ToM能力を持つAIエージェントが人間と協力するときに発生する。 エージェントのToM能力はチームのパフォーマンスに大きな影響を与えず,エージェントの人間的理解を高めていることがわかった。
  論文  参考訳（メタデータ） (2024-09-13T13:19:48Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• LLM-Coordination: Evaluating and Analyzing Multi-agent Coordination Abilities in Large Language Models [23.092480882456048]
  本研究では,Pure Coordination Games の文脈におけるLarge Language Models (LLM) の詳細な解析を目的とした。 以上の結果から, GPT-4-turbo を併用した LLM エージェントは, 最先端の強化学習法に匹敵する性能を示した。 コーディネーションQAの結果は、LLMのマインド推論と共同計画能力の向上のための大きな空間を示している。
  論文  参考訳（メタデータ） (2023-10-05T21:18:15Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• Warmth and competence in human-agent cooperation [0.7237068561453082]
  近年の研究では、深層強化学習で訓練されたAIエージェントが人間と協調できることが示されている。 われわれは2人プレイのソーシャルジレンマであるCoinsで深層強化学習エージェントを訓練している。 参加者の温かさと能力に対する認識は、異なるエージェントに対する表現された嗜好を予測する。
  論文  参考訳（メタデータ） (2022-01-31T18:57:08Z)
• Resonating Minds -- Emergent Collaboration Through Hierarchical Active Inference [0.0]
  精神状態(意図,目標)のレベルでの自動調整プロセスが,協調的な問題解決につながるかを検討する。 協調エージェント(HAICA)の階層的アクティブ推論モデルを提案する。 本研究では,信念共鳴と能動的推論により,迅速かつ効率的なエージェント協調が可能であり,協調認知エージェントのビルディングブロックとして機能することを示す。
  論文  参考訳（メタデータ） (2021-12-02T13:23:44Z)
• Watch-And-Help: A Challenge for Social Perception and Human-AI Collaboration [116.28433607265573]
  我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。 WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。 マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
  論文  参考訳（メタデータ） (2020-10-19T21:48:31Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。