論文の概要: DARL1N: Distributed multi-Agent Reinforcement Learning with One-hop Neighbors

• arxiv url: http://arxiv.org/abs/2202.09019v1
• Date: Fri, 18 Feb 2022 04:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-21 14:15:20.429478
• Title: DARL1N: Distributed multi-Agent Reinforcement Learning with One-hop Neighbors
• Title（参考訳）: DARL1N:ワンホップ隣人による分散マルチエージェント強化学習
• Authors: Baoqian Wang, Junfei Xie, Nikolay Atanasov
• Abstract要約: 1-hop Neighbors (DARL1N) を用いた分散マルチエージェント強化学習(Distributed Multi-Agent Reinforcement Learning)と呼ばれるスケーラブルなマルチエージェント強化学習(MARL)手法を提案する。 DARL1Nは、エージェント間のグローバルな相互作用を分離し、情報の交換をワンホップの隣人に制限することで、次元の呪いを破る非政治的なアクター批判的手法である。
• 参考スコア（独自算出の注目度）: 21.28553665933575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing multi-agent reinforcement learning (MARL) methods are limited in the scale of problems they can handle. Particularly, with the increase of the number of agents, their training costs grow exponentially. In this paper, we address this limitation by introducing a scalable MARL method called Distributed multi-Agent Reinforcement Learning with One-hop Neighbors (DARL1N). DARL1N is an off-policy actor-critic method that breaks the curse of dimensionality by decoupling the global interactions among agents and restricting information exchanges to one-hop neighbors. Each agent optimizes its action value and policy functions over a one-hop neighborhood, significantly reducing the learning complexity, yet maintaining expressiveness by training with varying numbers and states of neighbors. This structure allows us to formulate a distributed learning framework to further speed up the training procedure. Comparisons with state-of-the-art MARL methods show that DARL1N significantly reduces training time without sacrificing policy quality and is scalable as the number of agents increases.
• Abstract（参考訳）: 既存のマルチエージェント強化学習(MARL)手法は、扱える問題の規模が限られている。 特にエージェント数の増加に伴い、トレーニングコストは指数関数的に増加する。 本稿では,DARL1N(One-hop Neighbors)を用いた分散マルチエージェント強化学習手法を提案する。 darl1nは、エージェント間のグローバルな相互作用を分離し、一方のホップの隣人に情報交換を制限することによって、次元の呪いを破るオフポリシーのアクタ-批判手法である。 各エージェントは、そのアクション値とポリシー関数をワンホップ地区で最適化し、学習の複雑さを著しく低減するが、近隣の様々な数と状態を訓練することで表現性を維持する。 この構造により、分散学習フレームワークを定式化し、トレーニング手順をさらに高速化することができます。 最先端のMARL法と比較すると、DARL1Nは政策品質を犠牲にすることなくトレーニング時間を著しく短縮し、エージェント数が増加するにつれてスケーラブルである。

関連論文リスト

• Communication-Efficient Training Workload Balancing for Decentralized Multi-Agent Learning [20.683081355473664]
  分散マルチエージェント学習(DML)は、データのプライバシを保持しながら協調的なモデルトレーニングを可能にする。 ComDMLは分散アプローチを通じてエージェント間のワークロードのバランスをとる。 ComDMLは、最先端の手法と比較して、モデル精度を維持しながら、トレーニング全体の時間を著しく短縮することができる。
  論文  参考訳（メタデータ） (2024-05-01T20:03:37Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Promoting Generalization for Exact Solvers via Adversarial Instance Augmentation [62.738582127114704]
  Adarは、模倣学習ベース(ILベース)と強化学習ベース(RLベース)の両方の一般化を理解し、改善するためのフレームワークである。
  論文  参考訳（メタデータ） (2023-10-22T03:15:36Z)
• MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
  MADiffは拡散型マルチエージェント学習フレームワークである。 分散ポリシと集中型コントローラの両方として機能する。 実験の結果,MADiffは様々なマルチエージェント学習タスクにおいて,ベースラインアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-27T02:14:09Z)
• Diversity Through Exclusion (DTE): Niche Identification for Reinforcement Learning through Value-Decomposition [63.67574523750839]
  本稿では,多変量ニッチ環境におけるベースライン深度Q-ラーニングアルゴリズムよりも優れた汎用強化学習(RL)アルゴリズムを提案する。 この方法で訓練されたエージェントは、貧弱だが魅力ある局所最適化から逃れて、より高い価値戦略の発見を困難にすることを示します。
  論文  参考訳（メタデータ） (2023-02-02T16:00:19Z)
• Residual Q-Networks for Value Function Factorizing in Multi-Agent Reinforcement Learning [0.0]
  マルチエージェント強化学習(MARL)のためのResidual Q-Networks(RQN)の概念を提案する。 RQNは、個人-グローバル-マックス基準(IGM)を保存する方法で、個々のQ値軌跡を変換することを学ぶ 提案手法はより高速に収束し、安定性が向上し、より広い環境群で堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-05-30T16:56:06Z)
• Local Advantage Networks for Cooperative Multi-Agent Reinforcement Learning [1.1879716317856945]
  本稿では,協調的部分観測環境のための新しいタイプの強化学習アルゴリズムを提案する。 我々は、各エージェントに対して、個別の利点関数を介して分散化されたベストレスポンスポリシーを学ぶために、デュエルアーキテクチャを使用します。 StarCraft IIマルチエージェントチャレンジベンチマークの評価は、LANが最先端のパフォーマンスに達することを示している。
  論文  参考訳（メタデータ） (2021-12-23T10:55:33Z)
• Relative Distributed Formation and Obstacle Avoidance with Multi-agent Reinforcement Learning [20.401609420707867]
  マルチエージェント強化学習(MARL)に基づく分散生成・障害物回避手法を提案する。 提案手法は, 障害物回避における生成誤差, 生成収束率, オンパー成功率に関して, ベースラインと比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-11-14T13:02:45Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Coding for Distributed Multi-Agent Reinforcement Learning [12.366967700730449]
  ストラグラーは、様々なシステム障害が存在するため、分散学習システムで頻繁に発生する。 本稿では,ストラグラーの存在下でのMARLアルゴリズムの学習を高速化する分散学習フレームワークを提案する。 最大距離分離可能(MDS)コード、ランダムスパースコード、レプリケーションベースのコード、通常の低密度パリティチェック(LDPC)コードなど、さまざまなコーディングスキームも検討されている。
  論文  参考訳（メタデータ） (2021-01-07T00:22:34Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。