論文の概要: DPMAC: Differentially Private Communication for Cooperative Multi-Agent
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2308.09902v1
- Date: Sat, 19 Aug 2023 04:26:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 19:19:35.242706
- Title: DPMAC: Differentially Private Communication for Cooperative Multi-Agent
Reinforcement Learning
- Title(参考訳): DPMAC:協調型マルチエージェント強化学習のための個人間コミュニケーション
- Authors: Canzhe Zhao, Yanjie Ze, Jing Dong, Baoxiang Wang and Shuai Li
- Abstract要約: コミュニケーションは、人間社会とマルチエージェント強化学習(MARL)における協力の基礎となる。
本稿では,各エージェントに厳密な$(epsilon, delta)$-differential privacy guaranteeを付与したローカルメッセージ送信装置を装備することにより,個々のエージェントのセンシティブな情報を保護できる,テキスト・ディペンデンシャル・プライベート・マルチエージェント・コミュニケーション(DPMAC)アルゴリズムを提案する。
我々は、プライバシ保護通信と協調的なMARLにおけるナッシュ均衡の存在を証明し、この問題がゲーム理論的に学習可能であることを示唆する。
- 参考スコア(独自算出の注目度): 21.961558461211165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Communication lays the foundation for cooperation in human society and in
multi-agent reinforcement learning (MARL). Humans also desire to maintain their
privacy when communicating with others, yet such privacy concern has not been
considered in existing works in MARL. To this end, we propose the
\textit{differentially private multi-agent communication} (DPMAC) algorithm,
which protects the sensitive information of individual agents by equipping each
agent with a local message sender with rigorous $(\epsilon,
\delta)$-differential privacy (DP) guarantee. In contrast to directly
perturbing the messages with predefined DP noise as commonly done in
privacy-preserving scenarios, we adopt a stochastic message sender for each
agent respectively and incorporate the DP requirement into the sender, which
automatically adjusts the learned message distribution to alleviate the
instability caused by DP noise. Further, we prove the existence of a Nash
equilibrium in cooperative MARL with privacy-preserving communication, which
suggests that this problem is game-theoretically learnable. Extensive
experiments demonstrate a clear advantage of DPMAC over baseline methods in
privacy-preserving scenarios.
- Abstract(参考訳): コミュニケーションは、人間社会とマルチエージェント強化学習(MARL)における協力の基礎を築いた。
人間は他人と通信する際にもプライバシーを維持することを望んでいるが、MARLの既存の研究ではそのようなプライバシーに関する懸念は考慮されていない。
そこで,我々は,各エージェントに厳密な$(\epsilon, \delta)$-differential privacy (dp) 保証を付与することにより,個々のエージェントの機密情報を保護する \textit{differentially private multi-agent communication} (dpmac) アルゴリズムを提案する。
プライバシ保護シナリオで一般的な,事前定義されたdpノイズによるメッセージの直接摂動とは対照的に,それぞれのエージェントに対して確率的メッセージ送信器を採用し,dp要求を送信装置に組み込むことにより,dpノイズに起因する不安定性を軽減する。
さらに,プライバシ保護通信を用いた協調marlにおけるnash平衡の存在を証明し,この問題がゲーム理論的に学習可能であることを示唆する。
大規模な実験は、プライバシー保護シナリオにおけるベースラインメソッドよりもDPMACの明確な利点を示している。
関連論文リスト
- Group Decision-Making among Privacy-Aware Agents [2.88268082568407]
個人のプライバシーを維持し、効果的な社会学習を可能にすることはどちらも重要なデシダータであるが、基本的には互いに相反しているように見える。
差分プライバシー(DP)に基づく厳密な統計的保証を用いて情報漏洩を制御する。
その結果,グループ意思決定の結果の質,学習精度,通信コスト,エージェントが備えているプライバシー保護の水準の両面でのトレードオフの性質が明らかになった。
論文 参考訳(メタデータ) (2024-02-13T01:38:01Z) - Differentially Private Model-Based Offline Reinforcement Learning [51.1231068185106]
DP-MORLは差分プライバシーを保証するアルゴリズムである。
環境のプライベートモデルは、まずオフラインデータから学習される。
次に、モデルベースのポリシー最適化を使用して、プライベートモデルからポリシーを導出します。
論文 参考訳(メタデータ) (2024-02-08T10:05:11Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - On Differentially Private Federated Linear Contextual Bandits [9.51828574518325]
我々は、差分プライバシーの下で、クロスサイロフェデレーション線形文脈帯域問題(LCB)を考える。
現状の3つの課題は, (i) 主張されたプライバシ保護の失敗, (ii) ノイズの計算ミスによる不正確な後悔,である。
我々は,信頼されたサーバを使わずに,アルゴリズムがほぼ最適であることを示す。
論文 参考訳(メタデータ) (2023-02-27T16:47:49Z) - Breaking the Communication-Privacy-Accuracy Tradeoff with
$f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。
有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。
より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文 参考訳(メタデータ) (2023-02-19T16:58:53Z) - How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。
プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
論文 参考訳(メタデータ) (2022-11-18T11:39:03Z) - "Am I Private and If So, how Many?" -- Using Risk Communication Formats
for Making Differential Privacy Understandable [0.0]
我々は、差別化プライバシのプライバシリスクモデルと合わせて、リスクコミュニケーションフォーマットを適応する。
我々はこれらの新しいプライバシーコミュニケーションフォーマットをクラウドソーシング研究で評価する。
論文 参考訳(メタデータ) (2022-04-08T13:30:07Z) - Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。
プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。
以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
論文 参考訳(メタデータ) (2021-12-11T15:23:28Z) - Privacy-Preserving Communication-Efficient Federated Multi-Armed Bandits [17.039484057126337]
通信ボトルネックとデータプライバシは、連邦化された多武装バンディット(MAB)問題において2つの重要な問題である。
このような問題に対して,プライバシ保存型通信効率アルゴリズムを設計し,後悔の観点から,プライバシ,コミュニケーション,学習性能の相互作用について検討する。
論文 参考訳(メタデータ) (2021-11-02T12:56:12Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-09-18T20:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。