論文の概要: Differentially Private Federated Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2111.09278v1
• Date: Wed, 17 Nov 2021 18:23:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-18 16:01:25.585756
• Title: Differentially Private Federated Learning on Heterogeneous Data
• Title（参考訳）: 不均一データに基づく個人的フェデレーション学習
• Authors: Maxence Noble, Aur\'elien Bellet, Aymeric Dieuleveut
• Abstract要約: フェデレートラーニング(Federated Learning、FL)は、大規模分散ラーニングのパラダイムである。 i)高度に異質なユーザデータからの効率的なトレーニング、(ii)参加ユーザのプライバシ保護という2つの大きな課題に直面しています。 本稿では,差分プライバシー(DP)制約を取り入れた新しいFL手法を提案する。
• 参考スコア（独自算出の注目度）: 10.431137628048356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a paradigm for large-scale distributed learning which faces two key challenges: (i) efficient training from highly heterogeneous user data, and (ii) protecting the privacy of participating users. In this work, we propose a novel FL approach (DP-SCAFFOLD) to tackle these two challenges together by incorporating Differential Privacy (DP) constraints into the popular SCAFFOLD algorithm. We focus on the challenging setting where users communicate with a ''honest-but-curious'' server without any trusted intermediary, which requires to ensure privacy not only towards a third-party with access to the final model but also towards the server who observes all user communications. Using advanced results from DP theory, we establish the convergence of our algorithm for convex and non-convex objectives. Our analysis clearly highlights the privacy-utility trade-off under data heterogeneity, and demonstrates the superiority of DP-SCAFFOLD over the state-of-the-art algorithm DP-FedAvg when the number of local updates and the level of heterogeneity grow. Our numerical results confirm our analysis and show that DP-SCAFFOLD provides significant gains in practice.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は,大規模分散学習のためのパラダイムである。 (i)高度に異種なユーザデータからの効率的なトレーニング (ii)参加ユーザのプライバシーを守ること。 本研究では,この2つの課題を同時に解決するための新しいfl手法(dp-scaffold)を提案する。 我々は、ユーザーが信頼できる仲介者なしで「正直だが正確」なサーバーと通信する困難な設定に焦点を合わせ、最終モデルにアクセス可能なサードパーティだけでなく、すべてのユーザ通信を監視できるサーバにもプライバシーを確保する必要がある。 DP理論の高度な結果を用いて,凸および非凸目的に対するアルゴリズムの収束を確立する。 本研究では,データの不均一性下でのプライバシ利用のトレードオフを明確に強調するとともに,ローカル更新数と不均一性レベルが増加すると,最先端アルゴリズムであるdp-fedavgよりもdp-scaffoldが優れていることを示す。 以上の結果から,DP-SCAFFOLDが実際に有意な利益をもたらすことが示された。

関連論文リスト

• A Stochastic Optimization Framework for Private and Fair Learning From Decentralized Data [14.748203847227542]
  プライベート・フェア・フェデレーション・ラーニング(FL)のための新しいアルゴリズムを開発した。 我々のアルゴリズムは、サイロ間レコードレベル差分プライバシー(ISRL-DP)を満たす。 実験では、さまざまなプライバシレベルにわたるアルゴリズムのトレードオフとして、最先端の公正性・正確性フレームワークが実証されている。
  論文  参考訳（メタデータ） (2024-11-12T15:51:35Z)
• Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
  ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。 従来の偽造検出手法は、データを直接集中的に訓練する。 本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
  論文  参考訳（メタデータ） (2024-06-17T02:20:30Z)
• Federated Learning Empowered by Generative Content [55.576885852501775]
  フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。 本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。 我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
  論文  参考訳（メタデータ） (2023-12-10T07:38:56Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• Privacy-Preserving Federated Learning over Vertically and Horizontally Partitioned Data for Financial Anomaly Detection [11.167661320589488]
  実世界の金融異常検出シナリオでは、データは垂直と水平の両方に分割される。 我々のソリューションは、完全同型暗号化(HE)、セキュアマルチパーティ計算(SMPC)、微分プライバシー(DP)を組み合わせる。 私たちのソリューションは、米国プライバシ・エンハンシング・テクノロジーズ(PET)賞チャレンジの第1フェーズで2位を獲得しました。
  論文  参考訳（メタデータ） (2023-10-30T06:51:33Z)
• FedSIS: Federated Split Learning with Intermediate Representation Sampling for Privacy-preserving Generalized Face Presentation Attack Detection [4.1897081000881045]
  目に見えないドメイン/アタックへの一般化の欠如は、FacePAD(face presentation attack detection)アルゴリズムのアキレスヒールである。 本研究では、プライバシ保護ドメインの一般化のために、中間表現サンプリング(FedSIS)を用いたFederated Split Learningと呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-08-20T11:49:12Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• Subject Granular Differential Privacy in Federated Learning [2.9439848714137447]
  本稿では,各フェデレーションユーザに対して,主観レベルDPを局所的に適用する2つの新しいアルゴリズムを提案する。 我々の最初のアルゴリズムはLocalGroupDPと呼ばれ、人気のあるDP-SGDアルゴリズムにおけるグループ差分プライバシーの簡単な応用である。 第2のアルゴリズムは、トレーニングミニバッチに参加する被験者を対象とした階層的勾配平均化(HiGradAvgDP)という新しいアイデアに基づいている。
  論文  参考訳（メタデータ） (2022-06-07T23:54:36Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
  私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。 協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
  論文  参考訳（メタデータ） (2020-06-16T19:31:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。