論文の概要: Differential Privacy in Hierarchical Federated Learning: A Formal
Analysis and Evaluation
- arxiv url: http://arxiv.org/abs/2401.11592v1
- Date: Sun, 21 Jan 2024 20:46:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 15:43:10.317103
- Title: Differential Privacy in Hierarchical Federated Learning: A Formal
Analysis and Evaluation
- Title(参考訳): 階層型フェデレーション学習における微分プライバシー : 形式的分析と評価
- Authors: Frank Po-Chen Lin and Christopher Brinton
- Abstract要約: フェデレートラーニング(FL)は、ネットワーク上の生データの送信を排除しますが、通信されたモデルパラメータからのプライバシー侵害に対して脆弱です。
本研究では,DP強化FL手法であるDP-HFLを定式化した。
- 参考スコア(独自算出の注目度): 0.783218941317936
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While federated learning (FL) eliminates the transmission of raw data over a
network, it is still vulnerable to privacy breaches from the communicated model
parameters. In this work, we formalize Differentially Private Hierarchical
Federated Learning (DP-HFL), a DP-enhanced FL methodology that seeks to improve
the privacy-utility tradeoff inherent in FL. Building upon recent proposals for
Hierarchical Differential Privacy (HDP), one of the key concepts of DP-HFL is
adapting DP noise injection at different layers of an established FL hierarchy
-- edge devices, edge servers, and cloud servers -- according to the trust
models within particular subnetworks. We conduct a comprehensive analysis of
the convergence behavior of DP-HFL, revealing conditions on parameter tuning
under which the model training process converges sublinearly to a stationarity
gap, with this gap depending on the network hierarchy, trust model, and target
privacy level. Subsequent numerical evaluations demonstrate that DP-HFL obtains
substantial improvements in convergence speed over baselines for different
privacy budgets, and validate the impact of network configuration on training.
- Abstract(参考訳): フェデレーション学習(fl)はネットワーク上の生データの送信を排除しているが、通信されたモデルパラメータからのプライバシ侵害に対して脆弱である。
本研究では,flに固有のプライバシ利用トレードオフの改善を目的とした,dp-enhanced fl方法論である差分プライベート階層型連合学習(dp-hfl)を定式化する。
最近の階層微分プライバシー(HDP)の提案に基づいて、DP-HFLの重要な概念の1つは、特定のサブネットワーク内の信頼モデルに従って、確立されたFL階層(エッジデバイス、エッジサーバ、クラウドサーバ)の異なる層にDPノイズ注入を適用することである。
本研究では,DP-HFLの収束挙動を包括的に解析し,ネットワーク階層,信頼モデル,ターゲットのプライバシレベルに応じて,モデルトレーニングプロセスが定常性ギャップにサブライン的に収束するパラメータチューニングの条件を明らかにする。
その後の数値評価により、dp-hflは異なるプライバシー予算のベースラインに対する収束速度を大幅に改善し、ネットワーク構成がトレーニングに与える影響を検証することが示されている。
関連論文リスト
- Differentially Private Wireless Federated Learning Using Orthogonal
Sequences [56.52483669820023]
本稿では,FLORAS と呼ばれる AirComp 法を提案する。
FLORASはアイテムレベルとクライアントレベルの差分プライバシー保証の両方を提供する。
新たなFL収束バウンダリが導出され、プライバシー保証と組み合わせることで、達成された収束率と差分プライバシーレベルのスムーズなトレードオフが可能になる。
論文 参考訳(メタデータ) (2023-06-14T06:35:10Z) - Towards the Flatter Landscape and Better Generalization in Federated
Learning under Client-level Differential Privacy [67.33715954653098]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。
より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
論文 参考訳(メタデータ) (2023-05-01T15:19:09Z) - Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。
提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2023-03-20T16:27:36Z) - Balancing Privacy Protection and Interpretability in Federated Learning [8.759803233734624]
フェデレートラーニング(FL)は、ローカルクライアントから中央サーバにモデルパラメータを共有することで、グローバルモデルを分散的にトレーニングすることを目的としている。
近年の研究では、FLは情報漏洩に悩まされており、敵はローカルクライアントから共有パラメータを解析してトレーニングデータを回復しようとする。
本稿では,FLにおけるクライアントモデルの勾配に雑音を選択的に追加する,単純かつ効果的な適応型微分プライバシー(ADP)機構を提案する。
論文 参考訳(メタデータ) (2023-02-16T02:58:22Z) - Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。
階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。
また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
論文 参考訳(メタデータ) (2022-03-25T09:06:42Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳(メタデータ) (2021-10-27T04:11:06Z) - Differentially private federated deep learning for multi-site medical
image segmentation [56.30543374146002]
フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。
近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。
しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
論文 参考訳(メタデータ) (2021-07-06T12:57:32Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳(メタデータ) (2021-06-25T14:47:19Z) - Privacy Assessment of Federated Learning using Private Personalized
Layers [0.9023847175654603]
Federated Learning(FL)は、データを共有することなく、複数の参加者にまたがって学習モデルをトレーニングするコラボレーティブスキームである。
プライベートなパーソナライズされたレイヤを用いてFLスキームの実用性とプライバシのトレードオフを定量化する。
論文 参考訳(メタデータ) (2021-06-15T11:40:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。