論文の概要: Improving Human-AI Coordination through Adversarial Training and Generative Models
- arxiv url: http://arxiv.org/abs/2504.15457v2
- Date: Tue, 29 Apr 2025 21:02:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:52.758466
- Title: Improving Human-AI Coordination through Adversarial Training and Generative Models
- Title（参考訳）: 対人訓練と生成モデルによる人間-AIコーディネーションの改善
- Authors: Paresh Chaudhary, Yancheng Liang, Daphne Chen, Simon S. Du, Natasha Jaques,
- Abstract要約: 新たな人間に一般化するには、人間の行動の多様性を捉えたデータに関する訓練が必要である。
敵の訓練は、そのようなデータを検索し、エージェントが堅牢であることを保証するための手段の1つである。
本稿では、事前学習された生成モデルを組み合わせて、有効な協調エージェントポリシーをシミュレートする自己サボタージュを克服するための新しい戦略を提案する。
- 参考スコア（独自算出の注目度）: 36.54154192505703
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Being able to cooperate with new people is an important component of many economically valuable AI tasks, from household robotics to autonomous driving. However, generalizing to novel humans requires training on data that captures the diversity of human behaviors. Adversarial training is one avenue for searching for such data and ensuring that agents are robust. However, it is difficult to apply in the cooperative setting because adversarial policies intentionally learn to sabotage the task instead of simulating valid cooperation partners. To address this challenge, we propose a novel strategy for overcoming self-sabotage that combines a pre-trained generative model to simulate valid cooperative agent policies with adversarial training to maximize regret. We call our method GOAT: Generative Online Adversarial Training. In this framework, the GOAT dynamically searches for and generates coordination strategies where the learning policy -- the Cooperator agent -- underperforms. GOAT enables better generalization by exposing the Cooperator to various challenging interaction scenarios. We maintain realistic coordination strategies by updating only the generative model's embedding while keeping its parameters frozen, thus avoiding adversarial exploitation. We evaluate GOAT with real human partners, and the results demonstrate state-of-the-art performance on the Overcooked benchmark, highlighting its effectiveness in generalizing to diverse human behaviors.
- Abstract（参考訳）: 新しい人たちと協力できることは、家庭用ロボティクスから自動運転まで、経済的に価値のある多くのAIタスクの重要な構成要素である。
しかし、新しい人間に一般化するには、人間の行動の多様性を捉えたデータに関する訓練が必要である。
敵の訓練は、そのようなデータを検索し、エージェントが堅牢であることを保証するための手段の1つである。
しかし、対人政策は、有効な協力相手をシミュレートするのではなく、意図的にタスクを妨害することを学習するため、協調環境では適用が困難である。
この課題に対処するため、我々は、事前学習された生成モデルを組み合わせて、有効な協調エージェント政策と敵の訓練をシミュレートし、後悔を最大化するための新たな自己サボタージュ戦略を提案する。
我々はこの手法をGOAT: Generative Online Adversarial Trainingと呼んでいる。
このフレームワークでは、GOATは、学習方針、すなわち協力者エージェントが過小評価されるような協調戦略を動的に探索し、生成する。
GOATは、様々な困難な相互作用シナリオにコラボレータを公開することで、より良い一般化を可能にする。
我々は,生成モデルの埋め込みのみを更新し,パラメータを凍結させながら現実的な協調戦略を維持する。
GOATを実際の人間パートナーと評価し、Overcookedベンチマークで最先端のパフォーマンスを示し、人間の振る舞いを一般化する効果を強調した。
関連論文リスト
- Learning to Cooperate with Humans using Generative Agents [40.605931138995714]
ゼロショットと人間を協調させる訓練エージェントは、マルチエージェント強化学習(MARL)における重要なミッションである
我々は,この課題に効果的に対処できる,人間のパートナーの生成モデルを示す。
潜在空間からサンプリングすることで、生成モデルを用いて異なるパートナーを生成し、協調エージェントを訓練することができる。
論文 参考訳（メタデータ） (2024-11-21T08:36:17Z) - Multi-agent cooperation through learning-aware policy gradients [53.63948041506278]
利己的な個人はしばしば協力に失敗し、マルチエージェント学習の根本的な課題を提起する。
本稿では,学習型強化学習のための,偏見のない高導出性ポリシー勾配アルゴリズムを提案する。
我々は, 受刑者のジレンマから, 自己関心のある学習エージェントの間でどのように, いつ, 協力関係が生じるかの新たな説明を得た。
論文 参考訳（メタデータ） (2024-10-24T10:48:42Z) - Efficient Human-AI Coordination via Preparatory Language-based
Convention [17.840956842806975]
既存の人間とAIの調整方法は、エージェントに様々なポリシーや実際の人間のデータに適合した人間のモデルと調整するように訓練するのが一般的である。
我々は、人間とAIの両方を効果的に導くアクションプランを開発するために、大規模言語モデル(LLM)を採用することを提案する。
提案手法は,ヒトの嗜好との整合性が向上し,平均性能が15%向上した。
論文 参考訳（メタデータ） (2023-11-01T10:18:23Z) - ProAgent: Building Proactive Cooperative Agents with Large Language
Models [89.53040828210945]
ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。
ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。
ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
論文 参考訳（メタデータ） (2023-08-22T10:36:56Z) - A Hierarchical Approach to Population Training for Human-AI
Collaboration [20.860808795671343]
階層型強化学習(HRL)に基づくヒューマンAIコラボレーション手法を提案する。
本手法は,2人のプレイヤーによるオーバークッキングゲーム環境において,異なるプレイスタイルとスキルレベルを持つ新しいパートナに動的に適応できることを実証する。
論文 参考訳（メタデータ） (2023-05-26T07:53:12Z) - Learning to Influence Human Behavior with Offline Reinforcement Learning [70.7884839812069]
人間の準最適性を捉える必要があるような環境での影響に焦点を当てる。
人間によるオンライン実験は安全ではない可能性があり、環境の高忠実度シミュレータを作成することは現実的ではないことが多い。
オフライン強化学習は、観察された人間・人間の行動の要素を拡張し、組み合わせることで、人間に効果的に影響を及ぼすことができることを示す。
論文 参考訳（メタデータ） (2023-03-03T23:41:55Z) - PECAN: Leveraging Policy Ensemble for Context-Aware Zero-Shot Human-AI
Coordination [52.991211077362586]
本研究では,集団におけるパートナーの多様性を高めるための政策アンサンブル手法を提案する。
そこで我々は,egoエージェントがパートナーの潜在的ポリシープリミティブを分析し,識別するためのコンテキスト認識手法を開発した。
このようにして、エゴエージェントは多様なパートナーとの共同作業において、より普遍的な協調行動を学ぶことができる。
論文 参考訳（メタデータ） (2023-01-16T12:14:58Z) - Coordination with Humans via Strategy Matching [5.072077366588174]
協調作業を行う人間と人間のチームを観察することにより、利用可能なタスク補完戦略を自律的に認識するアルゴリズムを提案する。
隠れマルコフモデルを使って、チームアクションを低次元の表現に変換することで、事前の知識なしに戦略を識別できます。
ロボットポリシーは、未確認のパートナーのタスク戦略に適応するMixture-of-Expertsモデルを構築するための、識別された戦略のそれぞれに基づいて学習される。
論文 参考訳（メタデータ） (2022-10-27T01:00:50Z) - Conditional Imitation Learning for Multi-Agent Games [89.897635970366]
本研究では,条件付きマルチエージェント模倣学習の課題について考察する。
本稿では,スケーラビリティとデータ不足の難しさに対処する新しい手法を提案する。
我々のモデルは,egoやパートナエージェント戦略よりも低ランクなサブスペースを学習し,サブスペースに補間することで,新たなパートナ戦略を推論し,適応する。
論文 参考訳（メタデータ） (2022-01-05T04:40:13Z) - Behaviour-conditioned policies for cooperative reinforcement learning
tasks [41.74498230885008]
現実世界の様々なタスクにおいて、エージェントは未知のパートナーエージェントタイプと協力する必要がある。
深層強化学習モデルは、必要な機能を提供するためにトレーニングすることができるが、サンプルの非効率性と遅い学習に苦しむことが知られている。
本研究では,行動パターンの異なるエージェントの集団を合成的に生成する手法を提案する。
また、生成されたデータを効率的に利用し、メタ学習能力を得ることができるエージェントアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-10-04T09:16:41Z) - Co-GAIL: Learning Diverse Strategies for Human-Robot Collaboration [51.268988527778276]
本研究では,人間とロボットの協調実験から人間とロボットの協調政策を学習する手法を提案する。
本手法は対話型学習プロセスにおけるヒューマンポリシーとロボットポリシーを協調的に最適化する。
論文 参考訳（メタデータ） (2021-08-13T03:14:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。