論文の概要: Discovering Individual Rewards in Collective Behavior through Inverse
Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2305.10548v1
- Date: Wed, 17 May 2023 20:07:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 18:07:53.458315
- Title: Discovering Individual Rewards in Collective Behavior through Inverse
Multi-Agent Reinforcement Learning
- Title（参考訳）: 逆マルチエージェント強化学習による集団行動における個人報酬の発見
- Authors: Daniel Waelchli, Pascal Weber, Petros Koumoutsakos
- Abstract要約: 政外逆マルチエージェント強化学習アルゴリズム(IMARL)を導入する。
実演を活用することで,アルゴリズムは報酬関数を自動的に発見し,エージェントの効果的なポリシーを学習する。
提案するIMARLアルゴリズムは, 構成成分の観点から, 集合力学を理解するための重要なステップである。
- 参考スコア（独自算出の注目度）: 3.4437947384641032
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The discovery of individual objectives in collective behavior of complex
dynamical systems such as fish schools and bacteria colonies is a long-standing
challenge. Inverse reinforcement learning is a potent approach for addressing
this challenge but its applicability to dynamical systems, involving continuous
state-action spaces and multiple interacting agents, has been limited. In this
study, we tackle this challenge by introducing an off-policy inverse
multi-agent reinforcement learning algorithm (IMARL). Our approach combines the
ReF-ER techniques with guided cost learning. By leveraging demonstrations, our
algorithm automatically uncovers the reward function and learns an effective
policy for the agents. Through extensive experimentation, we demonstrate that
the proposed policy captures the behavior observed in the provided data, and
achieves promising results across problem domains including single agent models
in the OpenAI gym and multi-agent models of schooling behavior. The present
study shows that the proposed IMARL algorithm is a significant step towards
understanding collective dynamics from the perspective of its constituents, and
showcases its value as a tool for studying complex physical systems exhibiting
collective behaviour.
- Abstract（参考訳）: 魚学校や細菌コロニーのような複雑な力学系の集団行動における個々の目的の発見は長年の課題である。
逆強化学習はこの課題に対処するための強力なアプローチであるが、連続状態-作用空間と複数の相互作用エージェントを含む力学系への適用性は制限されている。
本研究では,オフポリシー逆マルチエージェント強化学習アルゴリズム(imarl)を導入することで,この課題に挑戦する。
我々のアプローチは、ref-erテクニックとガイド付きコスト学習を組み合わせる。
実演を活用することで,アルゴリズムは報酬関数を自動的に発見し,エージェントの効果的なポリシーを学習する。
広範にわたる実験により,提案手法は提供されたデータから観測された振る舞いを捉え,OpenAIジムのシングルエージェントモデルや学習行動のマルチエージェントモデルを含む課題領域にわたって有望な結果が得られることを示した。
本研究は, IMARLアルゴリズムが, 構成成分の観点から, 集合力学を理解するための重要なステップであることを示し, 集合行動を示す複雑な物理系を研究するためのツールとしての価値を示した。
関連論文リスト
- Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳（メタデータ） (2024-02-20T11:03:36Z) - Joint Intrinsic Motivation for Coordinated Exploration in Multi-Agent
Deep Reinforcement Learning [0.0]
本稿では,エージェントが一括して斬新な行動を示すような報奨戦略を提案する。
ジムは連続した環境で機能するように設計されたノベルティの集中的な尺度に基づいて共同軌道に報いる。
その結果、最適戦略が高レベルの調整を必要とするタスクの解決には、共同探索が不可欠であることが示唆された。
論文 参考訳（メタデータ） (2024-02-06T13:02:00Z) - DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement
Learning [84.22561239481901]
本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。
マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
論文 参考訳（メタデータ） (2023-12-10T06:03:57Z) - Inverse Factorized Q-Learning for Cooperative Multi-agent Imitation
Learning [13.060023718506917]
模倣学習(英: mimicion learning, IL)は、協調型マルチエージェントシステムにおける実証から専門家の行動を模倣する学習の課題である。
本稿では,これらの課題に対処する新しいマルチエージェントILアルゴリズムを提案する。
本手法は,分散Q関数の集約に混在するネットワークを活用することで,集中学習を実現する。
論文 参考訳（メタデータ） (2023-10-10T17:11:20Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-27T14:47:52Z) - MORAL: Aligning AI with Human Norms through Multi-Objective Reinforced
Active Learning [14.06682547001011]
最先端の手法は通常、単一の報酬モデルを学ぶことに集中します。
本稿では,多目的強化型アクティブラーニング(MORAL)を提案する。
提案手法では,複数ポリシの計算を不要にしながら,さまざまな好みに対して深いRLエージェントを対話的にチューニングすることが可能である。
論文 参考訳（メタデータ） (2021-12-30T19:21:03Z) - Multi-Agent Imitation Learning with Copulas [102.27052968901894]
マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。
本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。
提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
論文 参考訳（メタデータ） (2021-07-10T03:49:41Z) - Multiagent Deep Reinforcement Learning: Challenges and Directions
Towards Human-Like Approaches [0.0]
本稿では,最も一般的なマルチエージェント問題表現とその主な課題について述べる。
これらの課題に対処する5つの研究領域を特定します。
我々は,マルチエージェント強化学習が成功するためには,これらの課題を学際的アプローチで解決することを提案する。
論文 参考訳（メタデータ） (2021-06-29T19:53:15Z) - Seeing Differently, Acting Similarly: Imitation Learning with
Heterogeneous Observations [126.78199124026398]
多くの実世界の模倣学習タスクでは、デモレーターと学習者は異なるが完全な観察空間で行動しなければならない。
本研究では、上記の学習問題を異種観察学習(HOIL)としてモデル化する。
本稿では,重要度重み付け,拒否学習,アクティブクエリに基づくIWREアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-17T05:44:04Z) - Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。
このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。
シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2020-10-27T13:17:18Z) - Human AI interaction loop training: New approach for interactive
reinforcement learning [0.0]
機械学習の様々な意思決定タスクにおける強化学習(RL)は、スタンドアロンの報酬関数から学習するエージェントによる効果的な結果を提供する。
RLは、多くの環境状態と行動空間、および報酬の決定に固有の課題を提示する。
イミテーションラーニング(IL)は、教師を使った課題に対して有望な解決策を提供する。
論文 参考訳（メタデータ） (2020-03-09T15:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。