論文の概要: Distributional Reward Estimation for Effective Multi-Agent Deep
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2210.07636v1
- Date: Fri, 14 Oct 2022 08:31:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 18:02:49.099158
- Title: Distributional Reward Estimation for Effective Multi-Agent Deep
Reinforcement Learning
- Title（参考訳）: 実効的マルチエージェント深部強化学習のための分布回帰推定
- Authors: Jifeng Hu, Yanchao Sun, Hechang Chen, Sili Huang, haiyin piao, Yi
Chang, Lichao Sun
- Abstract要約: 実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。
本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。
DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
- 参考スコア（独自算出の注目度）: 19.788336796981685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-agent reinforcement learning has drawn increasing attention in
practice, e.g., robotics and automatic driving, as it can explore optimal
policies using samples generated by interacting with the environment. However,
high reward uncertainty still remains a problem when we want to train a
satisfactory model, because obtaining high-quality reward feedback is usually
expensive and even infeasible. To handle this issue, previous methods mainly
focus on passive reward correction. At the same time, recent active reward
estimation methods have proven to be a recipe for reducing the effect of reward
uncertainty. In this paper, we propose a novel Distributional Reward Estimation
framework for effective Multi-Agent Reinforcement Learning (DRE-MARL). Our main
idea is to design the multi-action-branch reward estimation and policy-weighted
reward aggregation for stabilized training. Specifically, we design the
multi-action-branch reward estimation to model reward distributions on all
action branches. Then we utilize reward aggregation to obtain stable updating
signals during training. Our intuition is that consideration of all possible
consequences of actions could be useful for learning policies. The superiority
of the DRE-MARL is demonstrated using benchmark multi-agent scenarios, compared
with the SOTA baselines in terms of both effectiveness and robustness.
- Abstract（参考訳）: マルチエージェント強化学習は、環境との相互作用によって生成されたサンプルを用いて最適なポリシーを探索できるため、ロボット工学や自動走行など、実際に注目を集めている。
しかし、高い報酬の不確実性は、高品質な報酬フィードバックを得るのは通常高価で、実現不可能であるため、満足いくモデルをトレーニングしたいときに依然として問題となる。
この問題に対処するため,従来の手法は主に受動報酬補正に重点を置いていた。
同時に、近年のアクティブ報酬推定手法は、報酬の不確実性の影響を減らすためのレシピであることが証明されている。
本稿では,効果的なマルチエージェント強化学習(DRE-MARL)のための分散リワード推定フレームワークを提案する。
本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。
具体的には、すべてのアクションブランチ上での報酬分布をモデル化するためのマルチアクションブランチ報酬推定を設計する。
そして,訓練中に報奨アグリゲーションを利用して安定した更新信号を得る。
我々の直感は、行動のあらゆる可能性について考慮することは、政策を学ぶのに有用である。
DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
関連論文リスト
- R3HF: Reward Redistribution for Enhancing Reinforcement Learning from Human Feedback [25.27230140274847]
人間のフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)を人間の好みに合わせるためのパラダイムを提供する。
本稿では,より微細なトークンレベルの報酬配分を容易にするR3HFという新たな報酬分配手法を提案する。
論文 参考訳（メタデータ） (2024-11-13T02:45:21Z) - From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。
エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T10:35:11Z) - Reinforcement Learning from Bagged Reward [46.16904382582698]
強化学習(RL)では、エージェントが取るアクション毎に即時報奨信号が生成されることが一般的である。
多くの実世界のシナリオでは、即時報酬信号の設計は困難である。
本稿では,双方向の注意機構を備えた新たな報酬再分配手法を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:26:44Z) - Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。
私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。
経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
論文 参考訳（メタデータ） (2024-02-01T17:10:35Z) - Mimicking Better by Matching the Approximate Action Distribution [48.95048003354255]
そこで我々は,Imitation Learning from Observationsのための新しい,サンプル効率の高いオンライン政治アルゴリズムMAADを紹介する。
我々は、専門家のパフォーマンスを達成するためには、かなり少ないインタラクションが必要であり、現在最先端の政治手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-16T12:43:47Z) - A State Augmentation based approach to Reinforcement Learning from Human
Preferences [20.13307800821161]
優先に基づく強化学習は、クエリされたトラジェクトリペアのバイナリフィードバックを利用することで、この問題を解決しようとする。
本稿では,エージェントの報酬モデルが堅牢である状態拡張手法を提案する。
論文 参考訳（メタデータ） (2023-02-17T07:10:50Z) - Handling Sparse Rewards in Reinforcement Learning Using Model Predictive
Control [9.118706387430883]
強化学習(RL)は近年,様々な分野で大きな成功を収めている。
しかし、報酬関数の設計には、エージェントが望ましい振る舞いを学べるように、詳細なドメインの専門知識と面倒な微調整が必要である。
本稿では,スパース報酬環境におけるRLエージェントのトレーニング経験源として,モデル予測制御(MPC)を提案する。
論文 参考訳（メタデータ） (2022-10-04T11:06:38Z) - SURF: Semi-supervised Reward Learning with Data Augmentation for
Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。
報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。
本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文 参考訳（メタデータ） (2022-03-18T16:50:38Z) - Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。
その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-11T16:49:15Z) - Softmax with Regularization: Better Value Estimation in Multi-Agent
Reinforcement Learning [72.28520951105207]
q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。
ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。
本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
論文 参考訳（メタデータ） (2021-03-22T14:18:39Z) - Self-Supervised Online Reward Shaping in Sparse-Reward Environments [36.01839934355542]
自己監督型オンライン報酬形成を行う新しい強化学習フレームワークを提案する。
提案するフレームワークは、ポリシーの更新と報酬関数の推測を交互に行う。
いくつかのスパースワード環境における実験結果は、提案アルゴリズムが最先端のベースラインよりもはるかにサンプル効率が高いことを示している。
論文 参考訳（メタデータ） (2021-03-08T03:28:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。