Fugu-MT 論文翻訳(概要): A Privacy-preserving Distributed Training Framework for Cooperative Multi-agent Deep Reinforcement Learning

論文の概要: A Privacy-preserving Distributed Training Framework for Cooperative Multi-agent Deep Reinforcement Learning

arxiv url: http://arxiv.org/abs/2109.14998v1
Date: Thu, 30 Sep 2021 10:53:34 GMT
ステータス: 処理完了
システム内更新日: 2021-10-01 15:05:46.707451
Title: A Privacy-preserving Distributed Training Framework for Cooperative Multi-agent Deep Reinforcement Learning
Title（参考訳）: 協調型多エージェント深層強化学習のためのプライバシー保護分散学習フレームワーク
Authors: Yimin Shi
Abstract要約: 本稿では,グローバルNNとローカルNNを併用した新しいDeep Neural Network(DNN)アーキテクチャと,分散トレーニングフレームワークを提案する。我々は、グローバルウェイトを全ての協力者エージェントによって更新することを可能にし、一方、ローカルウェイトは彼らが属するエージェントによってのみ更新される。実験によると、このフレームワークは、同一または類似の環境のエージェントがトレーニングプロセスで協力し、より高い収束率とより良いパフォーマンスを得るのに効率的に役立つ。
参考スコア（独自算出の注目度）: 1.14219428942199
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep Reinforcement Learning (DRL) sometimes needs a large amount of data to converge in the training procedure and in some cases, each action of the agent may produce regret. This barrier naturally motivates different data sets or environment owners to cooperate to share their knowledge and train their agents more efficiently. However, it raises privacy concerns if we directly merge the raw data from different owners. To solve this problem, we proposed a new Deep Neural Network (DNN) architecture with both global NN and local NN, and a distributed training framework. We allow the global weights to be updated by all the collaborator agents while the local weights are only updated by the agent they belong to. In this way, we hope the global weighs can share the common knowledge among these collaborators while the local NN can keep the specialized properties and ensure the agent to be compatible with its specific environment. Experiments show that the framework can efficiently help agents in the same or similar environments to collaborate in their training process and gain a higher convergence rate and better performance.
Abstract（参考訳）: 深層強化学習(Dep Reinforcement Learning, DRL)は、訓練手順に収束するために大量のデータを必要とする場合があり、場合によってはエージェントの各アクションが後悔を引き起こすことがある。この障壁は、異なるデータセットや環境所有者が協力して知識を共有し、エージェントをより効率的に訓練する動機となる。しかし、異なる所有者からの生データを直接マージすれば、プライバシーの懸念が高まる。この問題を解決するため,グローバルNNとローカルNNを併用した新しいディープニューラルネットワーク(DNN)アーキテクチャと,分散トレーニングフレームワークを提案する。局所的な重み付けは所属するエージェントによってのみ更新されるが、グローバル重み付けはすべての協力エージェントによって更新される。この方法では、グローバルウェイトがこれらの協力者の間で共通の知識を共有し、ローカルnnが特別なプロパティを保持し、エージェントが特定の環境と互換性を持つことを保証できることを期待します。実験によると、このフレームワークは、同一または類似の環境のエージェントがトレーニングプロセスで協力し、より高い収束率とパフォーマンスを得るのに効率的に役立つ。

関連論文リスト

Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
論文参考訳（メタデータ） (2024-03-11T09:21:11Z)
Asynchronous Message-Passing and Zeroth-Order Optimization Based Distributed Learning with a Use-Case in Resource Allocation in Communication Networks [11.182443036683225]
分散学習と適応は大きな関心を集め、機械学習信号処理に広く応用されている。本稿では、エージェントが共通のタスクに向けて協調するシナリオに焦点を当てる。送信者として働くエージェントは、グローバルな報酬を最大化するために、それぞれのポリシーを共同で訓練する。
論文参考訳（メタデータ） (2023-11-08T11:12:27Z)
Privacy-Engineered Value Decomposition Networks for Cooperative Multi-Agent Reinforcement Learning [19.504842607744457]
協力的マルチエージェント強化学習では、エージェントのチームは、指定されたタスクを学ぶために、チームの長期的な報酬を共同で最適化する必要がある。プライバシエンジニアリングされた価値分解ネットワーク(PE-VDN)は、エージェントの環境相互作用データの機密性を保護しながら、マルチエージェント調整をモデル化する。我々は,StarCraft Multi-Agent Competition (SMAC) にPE-VDNを実装し,バニラVDNの勝利率の80%を達成することを示す。
論文参考訳（メタデータ） (2023-09-13T02:50:57Z)
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents [19.52531351740528]
集中学習中にエージェントの数を変動させることができる数ショット学習アルゴリズムを用いたネットワークアーキテクチャを提案する。提案するネットワークアーキテクチャとアルゴリズムを用いることで,新たなエージェントが加わった場合のモデル適応がベースラインの100倍以上の速度で実現できることを示す。
論文参考訳（メタデータ） (2022-08-04T03:16:42Z)
Group-Agent Reinforcement Learning [12.915860504511523]
複数の地理的に分散したエージェントがそれぞれのRLタスクを協調的に実行すれば、各エージェントの強化学習プロセスに大きく貢献できる。グループエージェント強化学習(GARL)のための分散RLフレームワークDDAL(Decentralized Distributed Asynchronous Learning)を提案する。
論文参考訳（メタデータ） (2022-02-10T16:40:59Z)
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
論文参考訳（メタデータ） (2021-09-22T10:08:15Z)
Learning Connectivity for Data Distribution in Robot Teams [96.39864514115136]
グラフニューラルネットワーク(GNN)を用いたアドホックネットワークにおけるデータ分散のためのタスク非依存,分散化,低レイテンシ手法を提案する。当社のアプローチは、グローバル状態情報に基づいたマルチエージェントアルゴリズムを各ロボットで利用可能にすることで機能させます。我々は,情報の平均年齢を報酬関数として強化学習を通じて分散gnn通信政策を訓練し,タスク固有の報酬関数と比較してトレーニング安定性が向上することを示す。
論文参考訳（メタデータ） (2021-03-08T21:48:55Z)
Cooperative Heterogeneous Deep Reinforcement Learning [47.97582814287474]
異種エージェントの利点を統合することで政策を学習できる協調的異種深層強化学習フレームワークを提案する。グローバルエージェント(Global agent)は、他のエージェントからの経験を活用できる非政治エージェントである。ローカルエージェント(英: local agent)は、地域を効果的に探索できる、政治上のエージェントまたは人口ベースの進化的エージェントである。
論文参考訳（メタデータ） (2020-11-02T07:39:09Z)
Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
ディープラーニングは多くのコンピュータビジョンタスクで成功している。しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
論文参考訳（メタデータ） (2020-06-07T13:32:33Z)
Brainstorming Generative Adversarial Networks (BGANs): Towards Multi-Agent Generative Models with Distributed Private Datasets [70.62568022925971]
生成的敵ネットワーク(GAN)は、データ空間を適切に表現する大規模なデータセットによって供給されなければならない。多くのシナリオでは、利用可能なデータセットは制限され、複数のエージェントに分散する可能性がある。本稿では,BGAN(Breepstorming GAN)アーキテクチャを提案する。
論文参考訳（メタデータ） (2020-02-02T02:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。