論文の概要: A Privacy-preserving Distributed Training Framework for Cooperative
Multi-agent Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2109.14998v1
- Date: Thu, 30 Sep 2021 10:53:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 15:05:46.707451
- Title: A Privacy-preserving Distributed Training Framework for Cooperative
Multi-agent Deep Reinforcement Learning
- Title（参考訳）: 協調型多エージェント深層強化学習のためのプライバシー保護分散学習フレームワーク
- Authors: Yimin Shi
- Abstract要約: 本稿では,グローバルNNとローカルNNを併用した新しいDeep Neural Network(DNN)アーキテクチャと,分散トレーニングフレームワークを提案する。
我々は、グローバルウェイトを全ての協力者エージェントによって更新することを可能にし、一方、ローカルウェイトは彼らが属するエージェントによってのみ更新される。
実験によると、このフレームワークは、同一または類似の環境のエージェントがトレーニングプロセスで協力し、より高い収束率とより良いパフォーマンスを得るのに効率的に役立つ。
- 参考スコア（独自算出の注目度）: 1.14219428942199
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Reinforcement Learning (DRL) sometimes needs a large amount of data to
converge in the training procedure and in some cases, each action of the agent
may produce regret. This barrier naturally motivates different data sets or
environment owners to cooperate to share their knowledge and train their agents
more efficiently. However, it raises privacy concerns if we directly merge the
raw data from different owners. To solve this problem, we proposed a new Deep
Neural Network (DNN) architecture with both global NN and local NN, and a
distributed training framework. We allow the global weights to be updated by
all the collaborator agents while the local weights are only updated by the
agent they belong to. In this way, we hope the global weighs can share the
common knowledge among these collaborators while the local NN can keep the
specialized properties and ensure the agent to be compatible with its specific
environment. Experiments show that the framework can efficiently help agents in
the same or similar environments to collaborate in their training process and
gain a higher convergence rate and better performance.
- Abstract（参考訳）: 深層強化学習(Dep Reinforcement Learning, DRL)は、訓練手順に収束するために大量のデータを必要とする場合があり、場合によってはエージェントの各アクションが後悔を引き起こすことがある。
この障壁は、異なるデータセットや環境所有者が協力して知識を共有し、エージェントをより効率的に訓練する動機となる。
しかし、異なる所有者からの生データを直接マージすれば、プライバシーの懸念が高まる。
この問題を解決するため,グローバルNNとローカルNNを併用した新しいディープニューラルネットワーク(DNN)アーキテクチャと,分散トレーニングフレームワークを提案する。
局所的な重み付けは所属するエージェントによってのみ更新されるが、グローバル重み付けはすべての協力エージェントによって更新される。
この方法では、グローバルウェイトがこれらの協力者の間で共通の知識を共有し、ローカルnnが特別なプロパティを保持し、エージェントが特定の環境と互換性を持つことを保証できることを期待します。
実験によると、このフレームワークは、同一または類似の環境のエージェントがトレーニングプロセスで協力し、より高い収束率とパフォーマンスを得るのに効率的に役立つ。
関連論文リスト
- On the Linear Speedup of Personalized Federated Reinforcement Learning with Shared Representations [15.549340968605234]
フェデレート強化学習(FedRL)は、エージェントと環境相互作用の間に収集された局所的な軌跡を共有することなく、複数のエージェントが協調的にポリシーを学ぶことを可能にする。
異種環境におけるエージェント間の共通構造を生かし, 共生型FedRLフレームワーク(PFedRL)を導入する。
論文 参考訳（メタデータ） (2024-11-22T15:42:43Z) - Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。
動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
論文 参考訳（メタデータ） (2024-03-11T09:21:11Z) - Privacy-Engineered Value Decomposition Networks for Cooperative
Multi-Agent Reinforcement Learning [19.504842607744457]
協力的マルチエージェント強化学習では、エージェントのチームは、指定されたタスクを学ぶために、チームの長期的な報酬を共同で最適化する必要がある。
プライバシエンジニアリングされた価値分解ネットワーク(PE-VDN)は、エージェントの環境相互作用データの機密性を保護しながら、マルチエージェント調整をモデル化する。
我々は,StarCraft Multi-Agent Competition (SMAC) にPE-VDNを実装し,バニラVDNの勝利率の80%を達成することを示す。
論文 参考訳（メタデータ） (2023-09-13T02:50:57Z) - Transferable Multi-Agent Reinforcement Learning with Dynamic
Participating Agents [19.52531351740528]
集中学習中にエージェントの数を変動させることができる数ショット学習アルゴリズムを用いたネットワークアーキテクチャを提案する。
提案するネットワークアーキテクチャとアルゴリズムを用いることで,新たなエージェントが加わった場合のモデル適応がベースラインの100倍以上の速度で実現できることを示す。
論文 参考訳（メタデータ） (2022-08-04T03:16:42Z) - Group-Agent Reinforcement Learning [12.915860504511523]
複数の地理的に分散したエージェントがそれぞれのRLタスクを協調的に実行すれば、各エージェントの強化学習プロセスに大きく貢献できる。
グループエージェント強化学習(GARL)のための分散RLフレームワークDDAL(Decentralized Distributed Asynchronous Learning)を提案する。
論文 参考訳（メタデータ） (2022-02-10T16:40:59Z) - Locality Matters: A Scalable Value Decomposition Approach for
Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。
本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
論文 参考訳（メタデータ） (2021-09-22T10:08:15Z) - Learning Connectivity for Data Distribution in Robot Teams [96.39864514115136]
グラフニューラルネットワーク(GNN)を用いたアドホックネットワークにおけるデータ分散のためのタスク非依存,分散化,低レイテンシ手法を提案する。
当社のアプローチは、グローバル状態情報に基づいたマルチエージェントアルゴリズムを各ロボットで利用可能にすることで機能させます。
我々は,情報の平均年齢を報酬関数として強化学習を通じて分散gnn通信政策を訓練し,タスク固有の報酬関数と比較してトレーニング安定性が向上することを示す。
論文 参考訳（メタデータ） (2021-03-08T21:48:55Z) - Cooperative Heterogeneous Deep Reinforcement Learning [47.97582814287474]
異種エージェントの利点を統合することで政策を学習できる協調的異種深層強化学習フレームワークを提案する。
グローバルエージェント(Global agent)は、他のエージェントからの経験を活用できる非政治エージェントである。
ローカルエージェント(英: local agent)は、地域を効果的に探索できる、政治上のエージェントまたは人口ベースの進化的エージェントである。
論文 参考訳（メタデータ） (2020-11-02T07:39:09Z) - Decentralised Learning from Independent Multi-Domain Labels for Person
Re-Identification [69.29602103582782]
ディープラーニングは多くのコンピュータビジョンタスクで成功している。
しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。
我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。
このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
論文 参考訳（メタデータ） (2020-06-07T13:32:33Z) - Brainstorming Generative Adversarial Networks (BGANs): Towards
Multi-Agent Generative Models with Distributed Private Datasets [70.62568022925971]
生成的敵ネットワーク(GAN)は、データ空間を適切に表現する大規模なデータセットによって供給されなければならない。
多くのシナリオでは、利用可能なデータセットは制限され、複数のエージェントに分散する可能性がある。
本稿では,BGAN(Breepstorming GAN)アーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-02-02T02:58:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。