論文の概要: Clients Collaborate: Flexible Differentially Private Federated Learning
with Guaranteed Improvement of Utility-Privacy Trade-off
- arxiv url: http://arxiv.org/abs/2402.07002v1
- Date: Sat, 10 Feb 2024 17:39:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 18:09:27.793930
- Title: Clients Collaborate: Flexible Differentially Private Federated Learning
with Guaranteed Improvement of Utility-Privacy Trade-off
- Title（参考訳）: クライアントとのコラボレーション - ユーティリティ-プライバシートレードオフの改善を保証した,フレキシブルな差分型federated learning
- Authors: Yuecheng Li, Tong Wang, Chuan Chen, Jian Lou, Bin Chen, Lei Yang,
Zibin Zheng
- Abstract要約: 我々は、モデルユーティリティとユーザプライバシのトレードオフを打つために、厳格なプライバシ保証を備えた新しいフェデレーション学習フレームワーク、FedCEOを紹介します。
グローバルなセマンティック空間を円滑にすることで,フェデCEOが破壊されたセマンティック情報を効果的に回復できることを示す。
異なるプライバシ設定の下で、大幅なパフォーマンス改善と厳格なプライバシ保証を観察する。
- 参考スコア（独自算出の注目度）: 34.2117116062642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To defend against privacy leakage of user data, differential privacy is
widely used in federated learning, but it is not free. The addition of noise
randomly disrupts the semantic integrity of the model and this disturbance
accumulates with increased communication rounds. In this paper, we introduce a
novel federated learning framework with rigorous privacy guarantees, named
FedCEO, designed to strike a trade-off between model utility and user privacy
by letting clients ''Collaborate with Each Other''. Specifically, we perform
efficient tensor low-rank proximal optimization on stacked local model
parameters at the server, demonstrating its capability to flexibly truncate
high-frequency components in spectral space. This implies that our FedCEO can
effectively recover the disrupted semantic information by smoothing the global
semantic space for different privacy settings and continuous training
processes. Moreover, we improve the SOTA utility-privacy trade-off bound by an
order of $\sqrt{d}$, where $d$ is the input dimension. We illustrate our
theoretical results with experiments on representative image datasets. It
observes significant performance improvements and strict privacy guarantees
under different privacy settings.
- Abstract（参考訳）: ユーザデータのプライバシー漏洩を防ぐために、差分プライバシーは連邦学習で広く使われているが、無料ではない。
ノイズの追加はモデルの意味的整合性をランダムに乱し、この乱れは通信ラウンドの増加によって蓄積される。
本稿では,モデルユーティリティとユーザプライバシのトレードオフを打つために,クライアントに"互いに協力する"ことを目的とした,厳格なプライバシ保証を備えた新しいフェデレーション学習フレームワークについて紹介する。
具体的には,サーバのスタック付き局所モデルパラメータに対する効率的なテンソル低ランク近位最適化を行い,スペクトル空間内の高周波成分を柔軟に切り離す能力を示す。
これは、Fed CEOがさまざまなプライバシー設定と継続的なトレーニングプロセスのためにグローバルなセマンティックスペースをスムーズにすることで、破壊されたセマンティック情報を効果的に回復できることを意味しています。
さらに、$d$ が入力次元である$\sqrt{d}$ という順序で sota ユーティリティ-プライバシートレードオフを改善する。
代表的な画像データセットを用いた実験により, 理論的な結果を示す。
異なるプライバシ設定の下で、大幅なパフォーマンス改善と厳格なプライバシ保証を観察する。
関連論文リスト
- Share Your Representation Only: Guaranteed Improvement of the
Privacy-Utility Tradeoff in Federated Learning [47.042811490685324]
この情報漏洩のリスクを減らし、最先端の差分プライベートアルゴリズムを使っても、無料ではない。
本稿では,異なるプライバシ保証を持つフェデレーションモデルにおいて,様々な当事者が協調的に洗練する表現学習の目的について考察する。
同じ小さなプライバシ予算の下で、以前の作業よりも大幅にパフォーマンスが向上するのを観察する。
論文 参考訳（メタデータ） (2023-09-11T14:46:55Z) - Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。
既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。
差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-07T06:07:04Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - Smooth Anonymity for Sparse Graphs [69.1048938123063]
しかし、スパースデータセットを共有するという点では、差分プライバシーがプライバシのゴールドスタンダードとして浮上している。
本研究では、スムーズな$k$匿名性(スムーズな$k$匿名性)と、スムーズな$k$匿名性(スムーズな$k$匿名性)を提供する単純な大規模アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-07-13T17:09:25Z) - Group privacy for personalized federated learning [4.30484058393522]
フェデレーション・ラーニング(Federated Learning)は、コラボレーティブ・機械学習の一種で、参加するクライアントがデータをローカルに処理し、コラボレーティブ・モデルの更新のみを共有する。
我々は、$d$-privacyのキープロパティを利用するグループプライバシ保証を提供する方法を提案する。
論文 参考訳（メタデータ） (2022-06-07T15:43:45Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳（メタデータ） (2021-06-25T14:47:19Z) - Federated $f$-Differential Privacy [19.499120576896228]
フェデレートラーニング(Federated Learning, FL)とは、クライアントが繰り返し情報を共有することによってモデルを学ぶ訓練パラダイムである。
フェデレーション設定に特化した新しい概念である、フェデレーション$f$-differenceプライバシを紹介します。
そこで我々は,最先端flアルゴリズムの大規模ファミリーに対応する汎用的federated learningフレームワークprifedsyncを提案する。
論文 参考訳（メタデータ） (2021-02-22T16:28:21Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z) - Concentrated Differentially Private and Utility Preserving Federated
Learning [24.239992194656164]
フェデレーション・ラーニング(Federated Learning)とは、エッジデバイスのセットが、中央サーバのオーケストレーションの下でモデルを協調的にトレーニングする、機械学習環境である。
本稿では,モデルユーティリティの劣化を伴わずに,プライバシ問題に対処するフェデレーション学習手法を開発する。
このアプローチのエンドツーエンドのプライバシ保証を厳格に提供し、理論的収束率を分析します。
論文 参考訳（メタデータ） (2020-03-30T19:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。