論文の概要: Share Your Representation Only: Guaranteed Improvement of the
Privacy-Utility Tradeoff in Federated Learning
- arxiv url: http://arxiv.org/abs/2309.05505v1
- Date: Mon, 11 Sep 2023 14:46:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 12:08:02.618075
- Title: Share Your Representation Only: Guaranteed Improvement of the
Privacy-Utility Tradeoff in Federated Learning
- Title(参考訳): 表現のみを共有する:フェデレートラーニングにおけるプライバシ-ユーティリティトレードオフの改善
- Authors: Zebang Shen, Jiayuan Ye, Anmin Kang, Hamed Hassani, Reza Shokri
- Abstract要約: この情報漏洩のリスクを減らし、最先端の差分プライベートアルゴリズムを使っても、無料ではない。
本稿では,異なるプライバシ保証を持つフェデレーションモデルにおいて,様々な当事者が協調的に洗練する表現学習の目的について考察する。
同じ小さなプライバシ予算の下で、以前の作業よりも大幅にパフォーマンスが向上するのを観察する。
- 参考スコア(独自算出の注目度): 47.042811490685324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Repeated parameter sharing in federated learning causes significant
information leakage about private data, thus defeating its main purpose: data
privacy. Mitigating the risk of this information leakage, using state of the
art differentially private algorithms, also does not come for free. Randomized
mechanisms can prevent convergence of models on learning even the useful
representation functions, especially if there is more disagreement between
local models on the classification functions (due to data heterogeneity). In
this paper, we consider a representation federated learning objective that
encourages various parties to collaboratively refine the consensus part of the
model, with differential privacy guarantees, while separately allowing
sufficient freedom for local personalization (without releasing it). We prove
that in the linear representation setting, while the objective is non-convex,
our proposed new algorithm \DPFEDREP\ converges to a ball centered around the
\emph{global optimal} solution at a linear rate, and the radius of the ball is
proportional to the reciprocal of the privacy budget. With this novel utility
analysis, we improve the SOTA utility-privacy trade-off for this problem by a
factor of $\sqrt{d}$, where $d$ is the input dimension. We empirically evaluate
our method with the image classification task on CIFAR10, CIFAR100, and EMNIST,
and observe a significant performance improvement over the prior work under the
same small privacy budget. The code can be found in this link:
https://github.com/shenzebang/CENTAUR-Privacy-Federated-Representation-Learning.
- Abstract(参考訳): 連邦学習における繰り返しパラメータ共有は、プライベートデータに関する重要な情報漏洩を引き起こし、データプライバシというその主な目的を破る。
この情報漏洩のリスクを軽減し、アートの段階的にプライベートなアルゴリズムを使用しても、無料ではない。
ランダム化されたメカニズムは、有用な表現関数でさえ学習におけるモデルの収束を防げる、特に(データの不均一性によって)分類関数上の局所モデルの間により不一致がある場合である。
本稿では,モデルのコンセンサス部分と異なるプライバシの保証を協調的に洗練させながら,個別のパーソナライゼーションに十分な自由を(解放せずに)個別に許容する表現的フェデレーション学習目標について考察する。
線形表現設定では, 対象が非凸であるのに対して, 提案する新しいアルゴリズムである \dpfedrep\ は, 線形レートで \emph{global optimal} 解を中心とするボールに収束し, ボール半径はプライバシー予算の相反に比例することを証明する。
この新たなユーティリティ分析により,$d$ が入力次元である$\sqrt{d}$ という係数によって,この問題に対する sota ユーティリティプライバシートレードオフが改善される。
提案手法をcifar10,cifar100,emnistの画像分類タスクで実証的に評価し,同じ小さなプライバシー予算の下で,以前の作業よりも大幅な性能向上を観察した。
コードは以下のリンクにある。 https://github.com/shenzebang/CENTAUR-Privacy-Federated-Representation-Learning。
関連論文リスト
- Clients Collaborate: Flexible Differentially Private Federated Learning
with Guaranteed Improvement of Utility-Privacy Trade-off [34.2117116062642]
我々は、モデルユーティリティとユーザプライバシのトレードオフを打つために、厳格なプライバシ保証を備えた新しいフェデレーション学習フレームワーク、FedCEOを紹介します。
グローバルなセマンティック空間を円滑にすることで,フェデCEOが破壊されたセマンティック情報を効果的に回復できることを示す。
異なるプライバシ設定の下で、大幅なパフォーマンス改善と厳格なプライバシ保証を観察する。
論文 参考訳(メタデータ) (2024-02-10T17:39:34Z) - Private Networked Federated Learning for Nonsmooth Objectives [7.278228169713637]
本稿では,非平滑な目的関数を解くためのネットワーク型フェデレーション学習アルゴリズムを提案する。
参加者の秘密性を保証するため、ゼロ集中型微分プライバシー概念(zCDP)を用いる。
プライバシ保証とアルゴリズムの正確な解への収束の完全な理論的証明を提供する。
論文 参考訳(メタデータ) (2023-06-24T16:13:28Z) - Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano [83.5933307263932]
本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。
基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
論文 参考訳(メタデータ) (2022-10-24T23:50:12Z) - Smooth Anonymity for Sparse Binary Matrices [84.60886611165573]
この作業では、スパースデータセット全体を第三者とプライベートに操作し、共有することを目的としています。
実際、差分プライバシーは、プライバシの金の標準として現れていますが、スパースデータセットの共有に関しては、主要な結果の1つとして、偏微分プライベートメカニズムが極めて弱いプライバシ保証を持つ運命にあることを証明しています。
我々は、スムーズな$k$匿名性を示し、スムーズな$k$匿名性を提供する単純なアルゴリズムを設計する。
論文 参考訳(メタデータ) (2022-07-13T17:09:25Z) - Muffliato: Peer-to-Peer Privacy Amplification for Decentralized
Optimization and Averaging [2.294014185517203]
ローカルディファレンシャルプライバシ(LDP)の緩和であるペアワイズネットワークディファレンシャルプライバシを導入する。
我々は、局所勾配降下ステップとゴシップ平均化を交互に交互に行う、微分プライベートな分散最適化アルゴリズムを導出する。
我々のアルゴリズムは,グラフ内のノード間距離の関数として,プライバシー保証を増幅することを示す。
論文 参考訳(メタデータ) (2022-06-10T13:32:35Z) - Mixed Differential Privacy in Computer Vision [133.68363478737058]
AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。
プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
論文 参考訳(メタデータ) (2022-03-22T06:15:43Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳(メタデータ) (2021-06-25T14:47:19Z) - GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model [8.87104231451079]
本稿では、GRAFFLと呼ばれる、最初の勾配のない連邦学習フレームワークを提案する。
参加する各機関から得られた暗黙の情報を用いて、パラメータの後方分布を学習する。
本稿では,GRAFFLに基づくベイズ混合モデルを提案する。
論文 参考訳(メタデータ) (2020-08-29T07:19:44Z) - LDP-FL: Practical Private Aggregation in Federated Learning with Local
Differential Privacy [20.95527613004989]
フェデレーション学習は、実際のデータではなく、局所的な勾配情報を収集するプライバシー保護のための一般的なアプローチである。
それまでの作業は3つの問題により現実的な解決には至らなかった。
最後に、ディープラーニングモデルにおける重みの高次元性により、プライバシー予算が爆発的に膨らみます。
論文 参考訳(メタデータ) (2020-07-31T01:08:57Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。