論文の概要: Privacy-Engineered Value Decomposition Networks for Cooperative
Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2311.06255v1
- Date: Wed, 13 Sep 2023 02:50:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 16:20:00.991546
- Title: Privacy-Engineered Value Decomposition Networks for Cooperative
Multi-Agent Reinforcement Learning
- Title（参考訳）: 協調型マルチエージェント強化学習のためのプライバシ工学値分解ネットワーク
- Authors: Parham Gohari, Matthew Hale, and Ufuk Topcu
- Abstract要約: 協力的マルチエージェント強化学習では、エージェントのチームは、指定されたタスクを学ぶために、チームの長期的な報酬を共同で最適化する必要がある。
プライバシエンジニアリングされた価値分解ネットワーク(PE-VDN)は、エージェントの環境相互作用データの機密性を保護しながら、マルチエージェント調整をモデル化する。
我々は,StarCraft Multi-Agent Competition (SMAC) にPE-VDNを実装し,バニラVDNの勝利率の80%を達成することを示す。
- 参考スコア（独自算出の注目度）: 19.504842607744457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In cooperative multi-agent reinforcement learning (Co-MARL), a team of agents
must jointly optimize the team's long-term rewards to learn a designated task.
Optimizing rewards as a team often requires inter-agent communication and data
sharing, leading to potential privacy implications. We assume privacy
considerations prohibit the agents from sharing their environment interaction
data. Accordingly, we propose Privacy-Engineered Value Decomposition Networks
(PE-VDN), a Co-MARL algorithm that models multi-agent coordination while
provably safeguarding the confidentiality of the agents' environment
interaction data. We integrate three privacy-engineering techniques to redesign
the data flows of the VDN algorithm, an existing Co-MARL algorithm that
consolidates the agents' environment interaction data to train a central
controller that models multi-agent coordination, and develop PE-VDN. In the
first technique, we design a distributed computation scheme that eliminates
Vanilla VDN's dependency on sharing environment interaction data. Then, we
utilize a privacy-preserving multi-party computation protocol to guarantee that
the data flows of the distributed computation scheme do not pose new privacy
risks. Finally, we enforce differential privacy to preempt inference threats
against the agents' training data, past environment interactions, when they
take actions based on their neural network predictions. We implement PE-VDN in
StarCraft Multi-Agent Competition (SMAC) and show that it achieves 80% of
Vanilla VDN's win rate while maintaining differential privacy levels that
provide meaningful privacy guarantees. The results demonstrate that PE-VDN can
safeguard the confidentiality of agents' environment interaction data without
sacrificing multi-agent coordination.
- Abstract（参考訳）: 協調型マルチエージェント強化学習(co-marl)では、エージェントのチームは、指定されたタスクを学ぶためにチームの長期的な報酬を共同で最適化する必要があります。
チームとしての報酬の最適化には、しばしばエージェント間のコミュニケーションとデータ共有が必要となる。
プライバシーの考慮は、エージェントが環境の相互作用データを共有することを禁じていると仮定する。
そこで我々は,エージェントの環境相互作用データの機密性を確実に保護しつつ,マルチエージェント協調をモデル化するCo-MARLアルゴリズムであるPrivacy-Engineered Value Decomposition Networks (PE-VDN)を提案する。
我々は,エージェントの環境相互作用データを統合する既存のコマルアルゴリズムであるvdnアルゴリズムを再設計し,マルチエージェント協調をモデル化する中央制御系を訓練し,pe-vdnを開発した。
最初の手法では,Vanilla VDNの環境相互作用データ共有への依存性を排除する分散計算方式を設計する。
次に,プライバシ保存型マルチパーティ計算プロトコルを用いて,分散計算方式のデータフローが新たなプライバシリスクを生じさせないことを保証する。
最後に、ニューラルネットワークの予測に基づいて行動を取るとき、エージェントのトレーニングデータ、過去の環境相互作用に対する推論脅威を予防するために、差分プライバシーを強制する。
我々は,StarCraft Multi-Agent Competition (SMAC) にPE-VDNを実装し,バニラVDNの勝利率の80%を達成し,プライバシー保証に意味のある差分レベルを維持していることを示す。
その結果,PE-VDNはマルチエージェント協調を犠牲にすることなく,エージェントの環境相互作用データの機密性を保護できることがわかった。
関連論文リスト
- Privacy Preserving Semi-Decentralized Mean Estimation over Intermittently-Connected Networks [59.43433767253956]
信頼できない無線ネットワークの異なるノードに分散するベクトルの平均をプライベートに推定する問題を考える。
半分散的なセットアップでは、ノードは隣人と協力してローカルコンセンサスを計算し、中央サーバにリレーする。
ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
論文 参考訳（メタデータ） (2024-06-06T06:12:15Z) - Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。
既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。
差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-07T06:07:04Z) - Differentially Private Decentralized Deep Learning with Consensus
Algorithms [10.208363125551555]
協調的な分散ディープラーニングは、通信エージェント間の直接的な情報交換に依存している。
信頼できない隣人エージェントとのパラメータ共有は、ローカルデータセットに関する悪用可能な情報を漏洩させる可能性がある。
協調訓練の前後で各エージェントの局所的データセットを確保できる分別的私的分散学習を導入する。
論文 参考訳（メタデータ） (2023-06-24T07:46:00Z) - PS-FedGAN: An Efficient Federated Learning Framework Based on Partially
Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。
本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。
PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
論文 参考訳（メタデータ） (2023-05-19T05:39:40Z) - Collaborative Mean Estimation over Intermittently Connected Networks
with Peer-To-Peer Privacy [86.61829236732744]
本研究は、断続接続を有するネットワーク上での分散平均推定(DME)の問題について考察する。
目標は、中央サーバの助けを借りて、分散ノード間でローカライズされたデータサンプルに関するグローバル統計を学習することだ。
ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
論文 参考訳（メタデータ） (2023-02-28T19:17:03Z) - Privacy-Preserving Joint Edge Association and Power Optimization for the
Internet of Vehicles via Federated Multi-Agent Reinforcement Learning [74.53077322713548]
プライバシ保護型共同エッジアソシエーションと電力配分問題について検討する。
提案されたソリューションは、最先端のソリューションよりも高いプライバシレベルを維持しながら、魅力的なトレードオフにぶつかる。
論文 参考訳（メタデータ） (2023-01-26T10:09:23Z) - Secure Distributed/Federated Learning: Prediction-Privacy Trade-Off for
Multi-Agent System [4.190359509901197]
分散学習(DLとFL)フレームワーク内で推論を行うビッグデータ時代において、中央サーバは大量のデータを処理する必要がある。
分散コンピューティングトポロジを考えると、プライバシは第一級の関心事になっている。
本研究では,テキストプライバシを意識したサーバを,エージェントごとの情報処理制約を考慮したマルチエージェント代入問題に適用する。
論文 参考訳（メタデータ） (2022-04-24T19:19:20Z) - Mitigating Leakage from Data Dependent Communications in Decentralized
Computing using Differential Privacy [1.911678487931003]
本稿では,ユーザ側分散計算における通信データ依存性を制御する汎用実行モデルを提案する。
私たちの公式なプライバシー保証は、シャッフルによるプライバシーの増幅に関する最近の結果を活用し、拡張します。
論文 参考訳（メタデータ） (2021-12-23T08:30:17Z) - Cooperative Multi-Agent Actor-Critic for Privacy-Preserving Load
Scheduling in a Residential Microgrid [71.17179010567123]
本稿では,分散型アクターを分散批評家に教育する,プライバシ保護型マルチエージェントアクター批判フレームワークを提案する。
提案手法は,家庭のプライバシを保護しつつ,暗黙的にマルチエージェントの信用代入メカニズムを学習する。
論文 参考訳（メタデータ） (2021-10-06T14:05:26Z) - Learning Connectivity for Data Distribution in Robot Teams [96.39864514115136]
グラフニューラルネットワーク(GNN)を用いたアドホックネットワークにおけるデータ分散のためのタスク非依存,分散化,低レイテンシ手法を提案する。
当社のアプローチは、グローバル状態情報に基づいたマルチエージェントアルゴリズムを各ロボットで利用可能にすることで機能させます。
我々は,情報の平均年齢を報酬関数として強化学習を通じて分散gnn通信政策を訓練し,タスク固有の報酬関数と比較してトレーニング安定性が向上することを示す。
論文 参考訳（メタデータ） (2021-03-08T21:48:55Z) - PRICURE: Privacy-Preserving Collaborative Inference in a Multi-Party
Setting [3.822543555265593]
本稿では,セキュアなマルチパーティ計算とディファレンシャルプライバシの補完的強みを組み合わせたシステムpricureを提案する。
PRICUREは、複数のモデルオーナー間のプライバシー保護共同予測を可能にします。
ベンチマーク医療画像分類データセットを含む4つのデータセットのニューラルネットワーク上でPRICUREを評価する。
論文 参考訳（メタデータ） (2021-02-19T05:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。