論文の概要: Hierarchical Federated Learning with Privacy
- arxiv url: http://arxiv.org/abs/2206.05209v1
- Date: Fri, 10 Jun 2022 16:10:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 16:07:21.809910
- Title: Hierarchical Federated Learning with Privacy
- Title(参考訳): 階層的フェデレーション学習とプライバシ
- Authors: Varun Chandrasekaran, Suman Banerjee, Diego Perino, Nicolas Kourtellis
- Abstract要約: フェデレーションラーニング(FL)では、フェデレーションされたクライアントにデータが残っており、中央アグリゲータと共有される勾配更新のみをプライベートと仮定した。
近年の研究では、勾配レベルのアクセスを持つ敵が推論および再構成攻撃を成功させる可能性が示されている。
本研究では,このようなトレードオフを階層的FL(HFL)を通じて緩和する第一歩を踏み出す。
- 参考スコア(独自算出の注目度): 22.392087447002567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL), where data remains at the federated clients, and
where only gradient updates are shared with a central aggregator, was assumed
to be private. Recent work demonstrates that adversaries with gradient-level
access can mount successful inference and reconstruction attacks. In such
settings, differentially private (DP) learning is known to provide resilience.
However, approaches used in the status quo (\ie central and local DP) introduce
disparate utility vs. privacy trade-offs. In this work, we take the first step
towards mitigating such trade-offs through {\em hierarchical FL (HFL)}. We
demonstrate that by the introduction of a new intermediary level where
calibrated DP noise can be added, better privacy vs. utility trade-offs can be
obtained; we term this {\em hierarchical DP (HDP)}. Our experiments with 3
different datasets (commonly used as benchmarks for FL) suggest that HDP
produces models as accurate as those obtained using central DP, where noise is
added at a central aggregator. Such an approach also provides comparable
benefit against inference adversaries as in the local DP case, where noise is
added at the federated clients.
- Abstract(参考訳): フェデレーションラーニング(FL)では、フェデレーションされたクライアントにデータが残っており、中央アグリゲータと共有されるグラデーション更新のみをプライベートと仮定した。
最近の研究は、勾配レベルアクセスを持つ敵が推論と再構成攻撃に成功することを示す。
このような環境では、差分プライベート(DP)学習がレジリエンスを提供することが知られている。
しかし、ステータス・クオ (\ie Central と local DP) で使用されるアプローチは、異なるユーティリティとプライバシーのトレードオフを導入している。
本研究では,このようなトレードオフを階層的FL (HFL) を通じて緩和する第一歩を踏み出す。
校正されたDPノイズを付加できる新たな中間レベルを導入することで、プライバシーとユーティリティのトレードオフが向上できることを示し、これをHDPと呼ぶ。
FLのベンチマークとしてよく用いられる)3つの異なるデータセットを用いた実験から,HDPは中央のアグリゲータにノイズが付加される中央のDPと同等の精度でモデルを生成することが示唆された。
このようなアプローチは、フェデレートされたクライアントでノイズが付加されるローカルDPケースのように、推論の敵に対して同等の利点を提供する。
関連論文リスト
- FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳(メタデータ) (2024-02-10T18:14:57Z) - ULDP-FL: Federated Learning with Across Silo User-Level Differential
Privacy [20.402678975554053]
Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調的な機械学習アプローチとして注目を集めている。
Uldp-FLは,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するように設計された,新しいFLフレームワークである。
論文 参考訳(メタデータ) (2023-08-23T15:50:51Z) - Towards the Flatter Landscape and Better Generalization in Federated
Learning under Client-level Differential Privacy [67.33715954653098]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。
より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
論文 参考訳(メタデータ) (2023-05-01T15:19:09Z) - Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。
提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2023-03-20T16:27:36Z) - Adap DP-FL: Differentially Private Federated Learning with Adaptive
Noise [30.005017338416327]
フェデレートラーニングは、クライアントにローカルトレーニングモデルのみを公開することによって、孤立したデータアイランドの問題に対処しようとしている。
近年、データプライバシを保護するためのフェデレーション学習に差分プライバシーが適用されているが、付加されるノイズは学習性能を著しく低下させる可能性がある。
適応雑音付きフェデレーション学習のための差分プライベートスキーム(Adap DP-FL)を提案する。
論文 参考訳(メタデータ) (2022-11-29T03:20:40Z) - Subject Granular Differential Privacy in Federated Learning [2.9439848714137447]
本稿では,各フェデレーションユーザに対して,主観レベルDPを局所的に適用する2つの新しいアルゴリズムを提案する。
我々の最初のアルゴリズムはLocalGroupDPと呼ばれ、人気のあるDP-SGDアルゴリズムにおけるグループ差分プライバシーの簡単な応用である。
第2のアルゴリズムは、トレーニングミニバッチに参加する被験者を対象とした階層的勾配平均化(HiGradAvgDP)という新しいアイデアに基づいている。
論文 参考訳(メタデータ) (2022-06-07T23:54:36Z) - FeO2: Federated Learning with Opt-Out Differential Privacy [34.08435990347253]
フェデレートラーニング(FL)は、クライアントデータをローカルに保ちながら、グローバルモデルを中央サーバでトレーニングする、新たなプライバシ保護パラダイムである。
差分プライバシー(DP)はFL内でのプライバシー保証を提供するために用いられる。
本稿では,emphFeO2と呼ばれるオプトアウトDPを用いたフェデレーション学習のための新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-10-28T16:08:18Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳(メタデータ) (2021-07-01T06:14:51Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳(メタデータ) (2021-06-25T14:47:19Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳(メタデータ) (2021-01-11T19:43:12Z) - Privacy Amplification via Random Check-Ins [38.72327434015975]
Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。
本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。
当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
論文 参考訳(メタデータ) (2020-07-13T18:14:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。