論文の概要: Low-Cost Privacy-Aware Decentralized Learning
- arxiv url: http://arxiv.org/abs/2403.11795v2
- Date: Tue, 25 Jun 2024 10:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 20:09:17.407152
- Title: Low-Cost Privacy-Aware Decentralized Learning
- Title(参考訳): 低コストプライバシ対応分散型学習
- Authors: Sayan Biswas, Davide Frey, Romaric Gaudel, Anne-Marie Kermarrec, Dimitri Lerévérend, Rafael Pires, Rishi Sharma, François Taïani,
- Abstract要約: 本稿では,ZIP-DLを提案する。ZIP-DLは,相関雑音を利用して,ローカルな敵に対する強力なプライバシ保護を提供する,プライバシー対応分散学習(DL)アルゴリズムである。
本稿では,収束速度とプライバシ保証の両方を理論的に保証し,ZIP-DLを実用シナリオに適用する。
- 参考スコア(独自算出の注目度): 5.295018540083454
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper introduces ZIP-DL, a novel privacy-aware decentralized learning (DL) algorithm that exploits correlated noise to provide strong privacy protection against a local adversary while yielding efficient convergence guarantees for a low communication cost. The progressive neutralization of the added noise during the distributed aggregation process results in ZIP-DL fostering a high model accuracy under privacy guarantees. ZIP-DL further uses a single communication round between each gradient descent, thus minimizing communication overhead. We provide theoretical guarantees for both convergence speed and privacy guarantees, thereby making ZIP-DL applicable to practical scenarios. Our extensive experimental study shows that ZIP-DL significantly outperforms the state-of-the-art in terms of vulnerability/accuracy trade-off. In particular, ZIP-DL (i) reduces the efficacy of linkability attacks by up to 52 percentage points compared to baseline DL, (ii) improves accuracy by up to 37 percent w.r.t. the state-of-the-art privacy-preserving mechanism operating under the same threat model as ours, when configured to provide the same protection against membership inference attacks, and (iii) reduces communication by up to 10.5x against the same competitor for the same level of protection.
- Abstract(参考訳): 本稿では,ZIP-DLを提案する。ZIP-DLは,低通信コストで効率のよい収束保証を実現するとともに,相関雑音を利用して局所的敵に対する強力なプライバシー保護を実現する,新しいプライバシー対応分散学習アルゴリズムである。
分散アグリゲーションプロセスにおける付加雑音の進行的中和により、ZIP-DLはプライバシー保証の下で高いモデル精度を育成する。
ZIP-DLはさらに、各勾配降下間の単一の通信ラウンドを使用し、通信オーバーヘッドを最小限にする。
本稿では,収束速度とプライバシ保証の両方を理論的に保証し,ZIP-DLを実用シナリオに適用する。
ZIP-DLは、脆弱性/正確性トレードオフの観点から、最先端技術よりも著しく優れています。
特にZIP-DL
(i)ベースラインDLと比較して最大52ポイントのリンク性攻撃効果を低下させる。
(二)会員推論攻撃に対して同じ保護を提供するように設定された場合、我々のと同じ脅威モデルの下で動作している最先端のプライバシ保護機構により、最大37%の精度向上を行う。
(iii)同じレベルの保護のために、同じ競合相手に対して最大10.5倍の通信を減少させる。
関連論文リスト
- Secure Aggregation Meets Sparsification in Decentralized Learning [1.7010199949406575]
本稿では,分散学習(DL)のための新しいセキュアアグリゲーションプロトコルであるCESARを紹介する。
CESARは、正直だが正反対の敵を確実に擁護し、両者の共謀に対処するために形式的に適応することができる。
論文 参考訳(メタデータ) (2024-05-13T12:52:58Z) - Privacy-Preserving, Dropout-Resilient Aggregation in Decentralized Learning [3.9166000694570076]
分散学習(DL)は、集中集約なしでクライアントにトレーニングを分散することで、機械学習の新たなパラダイムを提供する。
DLのピアツーピアモデルは、推論攻撃やプライバシリークを防ぐための課題を提起する。
本研究は,プライバシ保護DLのための3つの秘密共有型ドロップアウトレジリエンスアプローチを提案する。
論文 参考訳(メタデータ) (2024-04-27T19:17:02Z) - Secure Aggregation is Not Private Against Membership Inference Attacks [66.59892736942953]
フェデレーション学習におけるSecAggのプライバシーへの影響について検討する。
SecAggは、単一のトレーニングラウンドであっても、メンバシップ推論攻撃に対して弱いプライバシを提供します。
以上の結果から,ノイズ注入などの付加的なプライバシー強化機構の必要性が浮き彫りになった。
論文 参考訳(メタデータ) (2024-03-26T15:07:58Z) - TernaryVote: Differentially Private, Communication Efficient, and
Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。
提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文 参考訳(メタデータ) (2024-02-16T16:41:14Z) - Hiding in Plain Sight: Differential Privacy Noise Exploitation for
Evasion-resilient Localized Poisoning Attacks in Multiagent Reinforcement
Learning [0.0]
協調型マルチエージェント強化学習(CMARL)において、知識共有中の敵の推論からエージェントのプライバシを保護するために、差分プライバシ(DP)が導入されている。
本稿では,DPノイズを生かして異常検出システムを回避する適応的かつプライバシー保護的かつ回避的局所性中毒発作(PeLPA)を提案する。
論文 参考訳(メタデータ) (2023-07-01T08:19:56Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Breaking the Communication-Privacy-Accuracy Tradeoff with
$f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。
有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。
より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文 参考訳(メタデータ) (2023-02-19T16:58:53Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳(メタデータ) (2022-10-05T13:13:35Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳(メタデータ) (2022-05-08T14:38:23Z) - Sparsified Secure Aggregation for Privacy-Preserving Federated Learning [1.2891210250935146]
セキュアアグリゲーションのための軽量な勾配スペーシフィケーションフレームワークを提案する。
提案手法は,セキュアアグリゲーションの通信オーバヘッドを大幅に低減できることを示す。
実験により,従来のセキュアなベンチマークと比較すると,我々のフレームワークは通信オーバーヘッドを最大7.8倍削減し,壁時計のトレーニング時間を1.13倍短縮することを示した。
論文 参考訳(メタデータ) (2021-12-23T22:44:21Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。