論文の概要: A Model-Based Solution to the Offline Multi-Agent Reinforcement Learning
Coordination Problem
- arxiv url: http://arxiv.org/abs/2305.17198v1
- Date: Fri, 26 May 2023 18:43:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 21:21:53.345964
- Title: A Model-Based Solution to the Offline Multi-Agent Reinforcement Learning
Coordination Problem
- Title(参考訳): オフラインマルチエージェント強化学習コーディネーション問題に対するモデルに基づく解法
- Authors: Paul Barde, Jakob Foerster, Derek Nowrouzezahrai, Amy Zhang
- Abstract要約: 既存のMARL(Multi-Agent Reinforcement Learning)メソッドはオンラインであり、現実のアプリケーションでは実用的ではない。
本稿では,合成相互作用データを生成し,エージェントが戦略に収束することを可能にするモデルに基づく手法を提案する。
MOMA-PPO (Model-based Offline Multi-Agent Proximal Policy Optimization) は、オフラインマルチエージェントの MuJoCo タスクに挑戦する上で、一般的な学習方法よりも優れています。
- 参考スコア(独自算出の注目度): 22.87517375140795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training multiple agents to coordinate is an important problem with
applications in robotics, game theory, economics, and social sciences. However,
most existing Multi-Agent Reinforcement Learning (MARL) methods are online and
thus impractical for real-world applications in which collecting new
interactions is costly or dangerous. While these algorithms should leverage
offline data when available, doing so gives rise to the offline coordination
problem. Specifically, we identify and formalize the strategy agreement (SA)
and the strategy fine-tuning (SFT) challenges, two coordination issues at which
current offline MARL algorithms fail. To address this setback, we propose a
simple model-based approach that generates synthetic interaction data and
enables agents to converge on a strategy while fine-tuning their policies
accordingly. Our resulting method, Model-based Offline Multi-Agent Proximal
Policy Optimization (MOMA-PPO), outperforms the prevalent learning methods in
challenging offline multi-agent MuJoCo tasks even under severe partial
observability and with learned world models.
- Abstract(参考訳): 複数のエージェントを協調させる訓練は、ロボット工学、ゲーム理論、経済学、社会科学の応用において重要な問題である。
しかしながら、既存のマルチエージェント強化学習(marl)手法のほとんどはオンラインであり、新しいインタラクションの収集がコストか危険である現実のアプリケーションでは実用的ではない。
これらのアルゴリズムは利用可能であればオフラインデータを活用するべきであるが、オフライン調整の問題が発生する。
具体的には、現在のオフラインMARLアルゴリズムが失敗する2つの調整問題である戦略合意(SA)と戦略微調整(SFT)課題を特定し、形式化する。
そこで本研究では,合成インタラクションデータを生成し,エージェントがポリシーを微調整しながら戦略に収束できるシンプルなモデルベースアプローチを提案する。
提案手法であるモデルベースオフラインマルチエージェント近距離ポリシー最適化(moma-ppo)は,厳格な部分的可観測性や学習世界モデルにおいてもオフラインマルチエージェントムジョコタスクに挑戦する上で,一般的な学習手法を上回っている。
関連論文リスト
- MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot
Learning [52.101643259906915]
本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。
既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。
本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
論文 参考訳(メタデータ) (2024-01-06T21:04:31Z) - Multi-Agent Reinforcement Learning for Power Control in Wireless
Networks via Adaptive Graphs [1.1861167902268832]
多エージェント深部強化学習(MADRL)は、電力制御のような幅広い複雑な最適化問題に対処するための有望な手法として登場した。
本稿では,これらの課題を緩和する有効な手段として,分散エージェント間の通信誘導構造としてグラフを用いることを提案する。
論文 参考訳(メタデータ) (2023-11-27T14:25:40Z) - Learning From Good Trajectories in Offline Multi-Agent Reinforcement
Learning [98.07495732562654]
オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。
オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。
この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-28T18:11:26Z) - A Unified Framework for Alternating Offline Model Training and Policy
Learning [62.19209005400561]
オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。
提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。
提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
論文 参考訳(メタデータ) (2022-10-12T04:58:51Z) - Fully Decentralized Model-based Policy Optimization for Networked
Systems [23.46407780093797]
本研究の目的は,モデルベース学習によるマルチエージェント制御のデータ効率の向上である。
エージェントが協力的であり、隣人とのみローカルに通信するネットワークシステムについて検討する。
提案手法では,各エージェントが将来の状態を予測し,通信によって予測をブロードキャストする動的モデルを学習し,その後,モデルロールアウトに基づいてポリシーをトレーニングする。
論文 参考訳(メタデータ) (2022-07-13T23:52:14Z) - Hierarchical Reinforcement Learning with Opponent Modeling for
Distributed Multi-agent Cooperation [13.670618752160594]
深層強化学習(DRL)はエージェントと環境の相互作用を通じて多エージェント協調に有望なアプローチを提供する。
従来のDRLソリューションは、ポリシー探索中に連続的なアクション空間を持つ複数のエージェントの高次元に悩まされる。
効率的な政策探索のための高レベル意思決定と低レベル個別制御を用いた階層型強化学習手法を提案する。
論文 参考訳(メタデータ) (2022-06-25T19:09:29Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - The reinforcement learning-based multi-agent cooperative approach for
the adaptive speed regulation on a metallurgical pickling line [0.0]
提案手法は,基本アルゴリズムとしての数学的モデリングと協調型マルチエージェント強化学習システムを組み合わせたものである。
我々は、重工業における現実的なタスクに対して、Deep Q-Learningをどのように適用できるかを実証し、既存の自動化システムを大幅に改善した。
論文 参考訳(メタデータ) (2020-08-16T15:10:39Z) - MOPO: Model-based Offline Policy Optimization [183.6449600580806]
オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。
既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。
本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
論文 参考訳(メタデータ) (2020-05-27T08:46:41Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳(メタデータ) (2020-04-17T14:56:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。