論文の概要: Provable Privacy Advantages of Decentralized Federated Learning via Distributed Optimization

• arxiv url: http://arxiv.org/abs/2407.09324v2
• Date: Sat, 30 Nov 2024 14:35:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:55:41.409260
• Title: Provable Privacy Advantages of Decentralized Federated Learning via Distributed Optimization
• Title（参考訳）: 分散最適化による分散型フェデレーション学習の確率的プライバシアドバンテージ
• Authors: Wenrui Yu, Qiongxiu Li, Milan Lopuhaä-Zwakenberg, Mads Græsbøll Christensen, Richard Heusdens,
• Abstract要約: フェデレートラーニング(FL)は、データのソースへの配置を可能にすることによって、データのプライバシを改善するために設計されたパラダイムとして登場した。 最近の知見は、分散FLは、集中型モデルよりも追加のプライバシやセキュリティ上のメリットを経験的に提供していないことを示唆している。 分散最適化をデプロイする際の分散FLは、プライバシー保護の強化を実証する。
• 参考スコア（独自算出の注目度）: 16.418338197742287
• License:
• Abstract: Federated learning (FL) emerged as a paradigm designed to improve data privacy by enabling data to reside at its source, thus embedding privacy as a core consideration in FL architectures, whether centralized or decentralized. Contrasting with recent findings by Pasquini et al., which suggest that decentralized FL does not empirically offer any additional privacy or security benefits over centralized models, our study provides compelling evidence to the contrary. We demonstrate that decentralized FL, when deploying distributed optimization, provides enhanced privacy protection - both theoretically and empirically - compared to centralized approaches. The challenge of quantifying privacy loss through iterative processes has traditionally constrained the theoretical exploration of FL protocols. We overcome this by conducting a pioneering in-depth information-theoretical privacy analysis for both frameworks. Our analysis, considering both eavesdropping and passive adversary models, successfully establishes bounds on privacy leakage. We show information theoretically that the privacy loss in decentralized FL is upper bounded by the loss in centralized FL. Compared to the centralized case where local gradients of individual participants are directly revealed, a key distinction of optimization-based decentralized FL is that the relevant information includes differences of local gradients over successive iterations and the aggregated sum of different nodes' gradients over the network. This information complicates the adversary's attempt to infer private data. To bridge our theoretical insights with practical applications, we present detailed case studies involving logistic regression and deep neural networks. These examples demonstrate that while privacy leakage remains comparable in simpler models, complex models like deep neural networks exhibit lower privacy risks under decentralized FL.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データのソースへの配置を可能にすることによって、データのプライバシを改善するために設計されたパラダイムとして登場した。 Pasquiniらによる最近の発見とは対照的に、分散FLは中央集権モデルに対して追加のプライバシやセキュリティ上のメリットを経験的に提供していないことを示唆している。 分散最適化をデプロイする際の分散FLは、集中型アプローチと比較して、理論上も経験上も、高度なプライバシ保護を提供します。 反復的プロセスによるプライバシー損失の定量化という課題は、伝統的にFLプロトコルの理論的な探索を制約してきた。 両フレームワークの詳細な情報理論プライバシ分析を先駆的に実施することで,この問題を克服する。 我々の分析では、盗聴と受動的敵モデルの両方を考慮して、プライバシー漏洩の限界を確立することに成功した。 我々は、分散FLにおけるプライバシー損失が集中FLの損失によって上界にあることを理論的に示す。 個別参加者の局所勾配を直接明らかにする集中型の場合と比較して、最適化に基づく分散化FLの重要な区別は、関連する情報が連続する反復の局所勾配と、ネットワーク上の異なるノードの勾配の集約された和を含むことである。 この情報は、敵のプライベートデータを推測しようとする試みを複雑にする。 本稿では,ロジスティック回帰とディープニューラルネットワークを含む詳細なケーススタディについて述べる。 これらの例では、プライバシリークはより単純なモデルで比較できるが、ディープニューラルネットワークのような複雑なモデルでは、分散FLの下でのプライバシーリスクが低いことが示されている。

関連論文リスト

• Immersion and Invariance-based Coding for Privacy-Preserving Federated Learning [1.4226399196408985]
  協調分散学習におけるプライバシ保護手法として,フェデレートラーニング(FL)が登場している。 制御理論から差分プライバシーとシステム浸漬ツールを組み合わせたプライバシー保護FLフレームワークを提案する。 提案手法は,局所モデルパラメータとグローバルモデルパラメータの両方に対して,任意のレベルの差分プライバシを提供するように調整可能であることを実証する。
  論文  参考訳（メタデータ） (2024-09-25T15:04:42Z)
• Re-Evaluating Privacy in Centralized and Decentralized Learning: An Information-Theoretical and Empirical Study [4.7773230870500605]
  Decentralized Federated Learning (DFL)は、その堅牢性とスケーラビリティに注目を集めている。 Pasquiniらによる最近の研究はこの見解に異議を唱え、DFLは経験的攻撃に対するプライバシーを本質的に改善していないことを実証している。
  論文  参考訳（メタデータ） (2024-09-21T23:05:50Z)
• Bridging Data Barriers among Participants: Assessing the Potential of Geoenergy through Federated Learning [2.8498944632323755]
  本研究では,XGBoostモデルに基づく新しい連邦学習(FL)フレームワークを提案する。 FLモデルは、異なるモデルと比較して精度と一般化能力が優れていることを示す。 本研究は, 協調型・プライバシー保護型FL技術により, 従来と異なる貯水池を評価するための新たな道を開くものである。
  論文  参考訳（メタデータ） (2024-04-29T09:12:31Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Federated Learning with Privacy-Preserving Ensemble Attention Distillation [63.39442596910485]
  Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。 本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。 我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
  論文  参考訳（メタデータ） (2022-10-16T06:44:46Z)
• Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
  Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。 既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。 我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
  論文  参考訳（メタデータ） (2022-09-10T05:20:31Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。