論文の概要: A Hierarchical Approach to Population Training for Human-AI Collaboration

• arxiv url: http://arxiv.org/abs/2305.16708v1
• Date: Fri, 26 May 2023 07:53:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 16:19:53.260340
• Title: A Hierarchical Approach to Population Training for Human-AI Collaboration
• Title（参考訳）: 人間-AI連携のための人口訓練の階層的アプローチ
• Authors: Yi Loo, Chen Gong and Malika Meghjani
• Abstract要約: 階層型強化学習(HRL)に基づくヒューマンAIコラボレーション手法を提案する。 本手法は,2人のプレイヤーによるオーバークッキングゲーム環境において,異なるプレイスタイルとスキルレベルを持つ新しいパートナに動的に適応できることを実証する。
• 参考スコア（独自算出の注目度）: 20.860808795671343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major challenge for deep reinforcement learning (DRL) agents is to collaborate with novel partners that were not encountered by them during the training phase. This is specifically worsened by an increased variance in action responses when the DRL agents collaborate with human partners due to the lack of consistency in human behaviors. Recent work have shown that training a single agent as the best response to a diverse population of training partners significantly increases an agent's robustness to novel partners. We further enhance the population-based training approach by introducing a Hierarchical Reinforcement Learning (HRL) based method for Human-AI Collaboration. Our agent is able to learn multiple best-response policies as its low-level policy while at the same time, it learns a high-level policy that acts as a manager which allows the agent to dynamically switch between the low-level best-response policies based on its current partner. We demonstrate that our method is able to dynamically adapt to novel partners of different play styles and skill levels in the 2-player collaborative Overcooked game environment. We also conducted a human study in the same environment to test the effectiveness of our method when partnering with real human subjects.
• Abstract（参考訳）: 深層強化学習(DRL)エージェントにとっての大きな課題は、訓練期間中に遭遇しなかった新しいパートナーと協力することである。 これは、DRLエージェントがヒトの行動の一貫性の欠如によりヒトのパートナーと協調する際の行動応答のばらつきにより、特に悪化する。 近年の研究では、一人のエージェントを多様な訓練パートナーに対する最良の対応として訓練することで、新しいパートナーに対するエージェントの堅牢性が著しく向上することが示されている。 我々は,階層的強化学習(HRL)に基づく人間-AIコラボレーションの手法を導入することで,人口ベーストレーニングアプローチをさらに強化する。 エージェントは低レベルの政策として複数のベストレスポンスポリシーを学習できると同時に、エージェントが現在のパートナーに基づいて低レベルのベストレスポンスポリシーを動的に切り替えられるように、管理者として機能するハイレベルポリシーを学習することができる。 本手法は,2-player collaborative overcooked game環境において,異なるプレイスタイルとスキルレベルを持つ新規パートナーに動的に適応できることを実証する。 また, 実際の被験者と協力する際の方法の有効性を検証するため, 同じ環境下で人間実験を行った。

関連論文リスト

• Multi-agent cooperation through learning-aware policy gradients [53.63948041506278]
  利己的な個人はしばしば協力に失敗し、マルチエージェント学習の根本的な課題を提起する。 本稿では,学習型強化学習のための,偏見のない高導出性ポリシー勾配アルゴリズムを提案する。 我々は, 受刑者のジレンマから, 自己関心のある学習エージェントの間でどのように, いつ, 協力関係が生じるかの新たな説明を得た。
  論文  参考訳（メタデータ） (2024-10-24T10:48:42Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• Incorporating Human Flexibility through Reward Preferences in Human-AI Teaming [14.250120245287109]
  我々は、人間-AI PbRL協調ゲームを開発し、RLエージェントが、作業目標と人間の協調行動への嗜好を引き出すために、人間-AI PbRL協調ゲームを開発する。 このゲーム定式化では、まず、人間が一定のポリシーに従うか、RLエージェントをオンザフライで適応するかに基づいて、チームのパフォーマンスを評価するために、ヒューマンフレキシビリティの概念を導入する。 私たちはこの2つの側面に沿った特別なケースを強調します。それは、特定オーケストレーションと呼ばれ、人間は柔軟で、エージェントは人間のポリシーを完全にアクセスできます。
  論文  参考訳（メタデータ） (2023-12-21T20:48:15Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• PECAN: Leveraging Policy Ensemble for Context-Aware Zero-Shot Human-AI Coordination [52.991211077362586]
  本研究では,集団におけるパートナーの多様性を高めるための政策アンサンブル手法を提案する。 そこで我々は,egoエージェントがパートナーの潜在的ポリシープリミティブを分析し,識別するためのコンテキスト認識手法を開発した。 このようにして、エゴエージェントは多様なパートナーとの共同作業において、より普遍的な協調行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-01-16T12:14:58Z)
• Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation [13.670618752160594]
  深層強化学習(DRL)はエージェントと環境の相互作用を通じて多エージェント協調に有望なアプローチを提供する。 従来のDRLソリューションは、ポリシー探索中に連続的なアクション空間を持つ複数のエージェントの高次元に悩まされる。 効率的な政策探索のための高レベル意思決定と低レベル個別制御を用いた階層型強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-25T19:09:29Z)
• Conditional Imitation Learning for Multi-Agent Games [89.897635970366]
  本研究では,条件付きマルチエージェント模倣学習の課題について考察する。 本稿では,スケーラビリティとデータ不足の難しさに対処する新しい手法を提案する。 我々のモデルは,egoやパートナエージェント戦略よりも低ランクなサブスペースを学習し,サブスペースに補間することで,新たなパートナ戦略を推論し,適応する。
  論文  参考訳（メタデータ） (2022-01-05T04:40:13Z)
• Behaviour-conditioned policies for cooperative reinforcement learning tasks [41.74498230885008]
  現実世界の様々なタスクにおいて、エージェントは未知のパートナーエージェントタイプと協力する必要がある。 深層強化学習モデルは、必要な機能を提供するためにトレーニングすることができるが、サンプルの非効率性と遅い学習に苦しむことが知られている。 本研究では,行動パターンの異なるエージェントの集団を合成的に生成する手法を提案する。 また、生成されたデータを効率的に利用し、メタ学習能力を得ることができるエージェントアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-10-04T09:16:41Z)
• On the Critical Role of Conventions in Adaptive Human-AI Collaboration [73.21967490610142]
  規則依存表現と規則依存表現を区別する学習フレームワークを提案する。 複雑性が異なる3つの共同作業に対するアプローチを実験的に検証します。
  論文  参考訳（メタデータ） (2021-04-07T02:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。