論文の概要: On Privacy and Personalization in Cross-Silo Federated Learning
- arxiv url: http://arxiv.org/abs/2206.07902v1
- Date: Thu, 16 Jun 2022 03:26:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-18 13:00:37.038215
- Title: On Privacy and Personalization in Cross-Silo Federated Learning
- Title(参考訳): クロスサイロ連合学習におけるプライバシとパーソナライゼーションについて
- Authors: Ziyu Liu, Shengyuan Hu, Zhiwei Steven Wu, Virginia Smith
- Abstract要約: 本研究では,クロスサイロ学習(FL)における差分プライバシーの適用について考察する。
平均正規化マルチタスク学習(MR-MTL)がクロスサイロFLの強力なベースラインであることを示す。
平均推定問題に対するMR-MTLの理論的評価とともに,競合する手法の徹底的な実証研究を行った。
- 参考スコア(独自算出の注目度): 39.031422430404405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While the application of differential privacy (DP) has been well-studied in
cross-device federated learning (FL), there is a lack of work considering DP
for cross-silo FL, a setting characterized by a limited number of clients each
containing many data subjects. In cross-silo FL, usual notions of client-level
privacy are less suitable as real-world privacy regulations typically concern
in-silo data subjects rather than the silos themselves. In this work, we
instead consider the more realistic notion of silo-specific item-level privacy,
where silos set their own privacy targets for their local examples. Under this
setting, we reconsider the roles of personalization in federated learning. In
particular, we show that mean-regularized multi-task learning (MR-MTL), a
simple personalization framework, is a strong baseline for cross-silo FL: under
stronger privacy, silos are further incentivized to "federate" with each other
to mitigate DP noise, resulting in consistent improvements relative to standard
baseline methods. We provide a thorough empirical study of competing methods as
well as a theoretical characterization of MR-MTL for a mean estimation problem,
highlighting the interplay between privacy and cross-silo data heterogeneity.
Our work serves to establish baselines for private cross-silo FL as well as
identify key directions of future work in this area.
- Abstract(参考訳): ディファレンシャルプライバシ(DP)の適用はクロスデバイス・フェデレーション・ラーニング(FL)においてよく研究されているが、クロスサイロFLではDPを検討する作業が不足している。
クロスサイロFLでは、クライアントレベルのプライバシという一般的な概念は、サイロ自体よりもサイロ内のデータ対象に関する現実のプライバシ規制よりも適していない。
この研究では、サイロ特有のアイテムレベルのプライバシのより現実的な概念を検討し、サイロがローカルな例のために独自のプライバシターゲットを設定します。
本研究では,フェデレーション学習におけるパーソナライズの役割を再考する。
特に,単純なパーソナライズフレームワークである平均正規化マルチタスク学習(MR-MTL)がクロスサイロFLの強力なベースラインであることを示す。
平均推定問題に対するMR-MTLの理論的特徴と競合する手法の徹底的な実証的研究を行い、プライバシとクロスサイロデータの不均一性の相互作用を強調した。
我々の研究は、民間のクロスサイロFLのベースラインを確立するとともに、この分野における今後の作業の重要な方向性を特定するのに役立ちます。
関連論文リスト
- Differentially Private Model-Based Offline Reinforcement Learning [51.1231068185106]
DP-MORLは差分プライバシーを保証するアルゴリズムである。
環境のプライベートモデルは、まずオフラインデータから学習される。
次に、モデルベースのポリシー最適化を使用して、プライベートモデルからポリシーを導出します。
論文 参考訳(メタデータ) (2024-02-08T10:05:11Z) - Cross-silo Federated Learning with Record-level Personalized
Differential Privacy [11.716905567797392]
フェデレートラーニングは、トレーニングプロセス中にクライアントのコントリビューションを保護することによって、クライアント側のデータのプライバシ保護を改善するための一般的なアプローチとして現れている。
既存のソリューションは通常、すべてのレコードに対して均一なプライバシ予算を仮定し、各レコードのプライバシ要件を満たすには不十分な、ワンサイズのすべてのソリューションを提供する。
本稿では,クライアントレベルサンプリングと非一様レコードレベルサンプリングの両方を併用した2段階ハイブリッドサンプリング手法を用いて,プライバシ要件を満たす新しいフレームワークrPDP-FLを提案する。
論文 参考訳(メタデータ) (2024-01-29T16:01:46Z) - PPFL: A Personalized Federated Learning Framework for Heterogeneous
Population [30.51508591732483]
我々は、PPFLと呼ばれるフェデレートラーニングのパラダイムの中で、フレキシブルで解釈可能なパーソナライズされたフレームワークを開発する。
標準モデルを利用することで、不均一性をこれらのベクトルに対するクライアントの好みとしてモデル化し、メンバーシップの好みを利用する。
本研究は,病理学的特徴と実践的データセットの両方について実験を行い,PPFLの有効性を検証した。
論文 参考訳(メタデータ) (2023-10-22T16:06:27Z) - Advancing Personalized Federated Learning: Group Privacy, Fairness, and
Beyond [6.731000738818571]
Federated Learning(FL)は、機械学習モデルを分散的かつ協調的にトレーニングするためのフレームワークである。
本稿では、FLフレームワーク内で訓練されたモデルによって達成されたパーソナライズ、プライバシ保証、公平性の3つの相互作用について述べる。
グループプライバシ保証を$d$-privacyを利用して導入する手法が提案されている。
論文 参考訳(メタデータ) (2023-09-01T12:20:19Z) - ULDP-FL: Federated Learning with Across Silo User-Level Differential
Privacy [20.402678975554053]
Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調的な機械学習アプローチとして注目を集めている。
Uldp-FLは,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するように設計された,新しいFLフレームワークである。
論文 参考訳(メタデータ) (2023-08-23T15:50:51Z) - Privacy Preserving Bayesian Federated Learning in Heterogeneous Settings [20.33482170846688]
本稿では,大規模なローカルデータセットがなくても,カスタマイズされたローカルベイズモデルに基づく統合学習フレームワークを提案する。
ネットワークの機能的(アウトプット)空間における事前情報を用いて、異種クライアント間のコラボレーションを容易にする。
標準FLデータセットを用いた実験により、同種および異種両方の設定において、我々のアプローチが強いベースラインより優れていることが示された。
論文 参考訳(メタデータ) (2023-06-13T17:55:30Z) - Federated Learning with Privacy-Preserving Ensemble Attention
Distillation [63.39442596910485]
Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。
本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。
我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
論文 参考訳(メタデータ) (2022-10-16T06:44:46Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Differentially private federated deep learning for multi-site medical
image segmentation [56.30543374146002]
フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。
近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。
しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
論文 参考訳(メタデータ) (2021-07-06T12:57:32Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳(メタデータ) (2021-06-25T14:47:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。