論文の概要: Adversarial Inverse Reinforcement Learning for Mean Field Games
- arxiv url: http://arxiv.org/abs/2104.14654v5
- Date: Mon, 17 Apr 2023 23:06:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 19:29:15.410124
- Title: Adversarial Inverse Reinforcement Learning for Mean Field Games
- Title(参考訳): 平均フィールドゲームにおける逆逆強化学習
- Authors: Yang Chen, Libo Zhang, Jiamou Liu and Michael Witbrock
- Abstract要約: 平均場ゲーム(MFG)は、大規模マルチエージェントシステムをモデル化するための数学的に抽出可能なフレームワークを提供する。
本稿では,実証における不確実性に対処可能な新しいフレームワーク,Mean-Field Adversarial IRL(MF-AIRL)を提案する。
- 参考スコア(独自算出の注目度): 17.392418397388823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mean field games (MFGs) provide a mathematically tractable framework for
modelling large-scale multi-agent systems by leveraging mean field theory to
simplify interactions among agents. It enables applying inverse reinforcement
learning (IRL) to predict behaviours of large populations by recovering reward
signals from demonstrated behaviours. However, existing IRL methods for MFGs
are powerless to reason about uncertainties in demonstrated behaviours of
individual agents. This paper proposes a novel framework, Mean-Field
Adversarial IRL (MF-AIRL), which is capable of tackling uncertainties in
demonstrations. We build MF-AIRL upon maximum entropy IRL and a new equilibrium
concept. We evaluate our approach on simulated tasks with imperfect
demonstrations. Experimental results demonstrate the superiority of MF-AIRL
over existing methods in reward recovery.
- Abstract(参考訳): 平均場ゲーム(MFG)は、平均場理論を利用してエージェント間の相互作用を単純化することにより、大規模マルチエージェントシステムをモデル化するための数学的に抽出可能なフレームワークを提供する。
実演行動から報酬信号を回収することにより、逆強化学習(IRL)を適用して、大集団の行動を予測する。
しかし、既存のMFGのIRL法では、個々のエージェントの動作を示す不確実性について説明できない。
本稿では,実証における不確実性に対処可能な新しいフレームワーク,Mean-Field Adversarial IRL(MF-AIRL)を提案する。
我々は、最大エントロピーIRLと新しい平衡概念に基づいてMF-AIRLを構築する。
不完全な実演を伴うシミュレーションタスクに対する我々のアプローチを評価する。
その結果,MF-AIRLは報酬回収法よりも優れていることが示された。
関連論文リスト
- Model-Based RL for Mean-Field Games is not Statistically Harder than
Single-Agent RL [64.90038012690403]
モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。
本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
論文 参考訳(メタデータ) (2024-02-08T14:54:47Z) - Mimicking Better by Matching the Approximate Action Distribution [48.81067017094468]
そこで我々は,Imitation Learning from Observationsのための新しい,サンプル効率の高いオンライン政治アルゴリズムMAADを紹介する。
我々は、専門家のパフォーマンスを達成するためには、かなり少ないインタラクションが必要であり、現在最先端の政治手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-16T12:43:47Z) - Distributional Reward Estimation for Effective Multi-Agent Deep
Reinforcement Learning [19.788336796981685]
実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。
本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。
DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
論文 参考訳(メタデータ) (2022-10-14T08:31:45Z) - Individual-Level Inverse Reinforcement Learning for Mean Field Games [16.79251229846642]
Mean Field IRL (MFIRL) は、MFGのための最初の専用のIRLフレームワークであり、協調環境と非協調環境の両方を扱うことができる。
未知のダイナミクスを持つMFGに対して有効な実用的なアルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-02-13T20:35:01Z) - Multi-Agent Inverse Reinforcement Learning: Suboptimal Demonstrations
and Alternative Solution Concepts [0.0]
マルチエージェント逆強化学習は、社会的環境におけるエージェントから報酬関数を学習するために用いられる。
現実的な社会的ダイナミクスをモデル化するには、MIRL法は最適な人間の推論と振る舞いを考慮しなければならない。
論文 参考訳(メタデータ) (2021-09-02T19:15:29Z) - Residual Reinforcement Learning from Demonstrations [51.56457466788513]
報酬信号の最大化のために,従来のフィードバックコントローラからの制御動作を適用することで,ロボット作業の課題を解決する手段として,残留強化学習(Residual reinforcement learning, RL)が提案されている。
視覚的インプットから学習するための残差定式化を拡張し,実演を用いて報酬をスパースする。
6-DoFのUR5アームと28-DoFのデキスタラスハンドのシミュレーション操作に関する実験的評価は、デモからの残留RLが、行動クローニングやRL微調整よりも柔軟に、見えない環境条件に一般化できることを実証している。
論文 参考訳(メタデータ) (2021-06-15T11:16:49Z) - ERMAS: Becoming Robust to Reward Function Sim-to-Real Gaps in
Multi-Agent Simulations [110.72725220033983]
Epsilon-Robust Multi-Agent Simulation (ERMAS)は、このようなマルチエージェントのsim-to-realギャップに対して堅牢なAIポリシーを学ぶためのフレームワークである。
ERMASは、エージェントリスク回避の変化に対して堅牢な税政策を学び、複雑な時間シミュレーションで最大15%社会福祉を改善する。
特に、ERMASは、エージェントリスク回避の変化に対して堅牢な税制政策を学び、複雑な時間シミュレーションにおいて、社会福祉を最大15%改善する。
論文 参考訳(メタデータ) (2021-06-10T04:32:20Z) - Shaping Rewards for Reinforcement Learning with Imperfect Demonstrations
using Generative Models [18.195406135434503]
本稿では,報酬関数を状態と行動に依存したポテンシャルに形成することにより,強化と模倣学習を組み合わせた手法を提案する。
このことは,まず探索する価値のある状態空間と行動空間の高価値領域を指定することで,政策学習を加速させることを示す。
特に、これらのポテンシャルを表現するために、正規化フローとジェネレーティブ・アドバイサル・ネットワークの両方について検討する。
論文 参考訳(メタデータ) (2020-11-02T20:32:05Z) - Reinforcement Learning for Mean Field Games with Strategic
Complementarities [10.281006908092932]
我々は、Trembling-Hand-Perfect MFE(T-MFE)と呼ぶ平衡概念を自然に洗練する。
本稿では,T-MFEを既知のモデルで計算する簡単なアルゴリズムを提案する。
また、T-MFE学習のためのモデルフリーおよびモデルベースアプローチを導入し、両方のアルゴリズムの複雑なサンプルを提供する。
論文 参考訳(メタデータ) (2020-06-21T00:31:48Z) - Forgetful Experience Replay in Hierarchical Reinforcement Learning from
Demonstrations [55.41644538483948]
本稿では,複雑な視覚環境において,エージェントが低品質な実演を行えるようにするためのアプローチの組み合わせを提案する。
提案した目標指向のリプレイバッファ構築により,エージェントはデモにおいて複雑な階層的タスクを解くためのサブゴールを自動的に強調することができる。
私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドをマイニングすることを可能にする。
論文 参考訳(メタデータ) (2020-06-17T15:38:40Z) - Maximizing Information Gain in Partially Observable Environments via
Prediction Reward [64.24528565312463]
本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。
負のエントロピーと予測される予測報酬の正確な誤差を導出する。
この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
論文 参考訳(メタデータ) (2020-05-11T08:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。