論文の概要: Private Federated Learning Without a Trusted Server: Optimal Algorithms for Convex Losses

• arxiv url: http://arxiv.org/abs/2106.09779v9
• Date: Sun, 17 Nov 2024 20:55:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:34:40.551624
• Title: Private Federated Learning Without a Trusted Server: Optimal Algorithms for Convex Losses
• Title（参考訳）: 信頼できるサーバを持たないプライベートフェデレーション学習 - 凸損失に対する最適なアルゴリズム
• Authors: Andrew Lowy, Meisam Razaviyayn,
• Abstract要約: シリコン間記録レベル差分プライバシー(ISRL-DP) シリコン間記録レベル差分プライバシー(ISRL-DP)
• 参考スコア（独自算出の注目度）: 14.040676498310198
• License:
• Abstract: This paper studies federated learning (FL)--especially cross-silo FL--with data from people who do not trust the server or other silos. In this setting, each silo (e.g. hospital) has data from different people (e.g. patients) and must maintain the privacy of each person's data (e.g. medical record), even if the server or other silos act as adversarial eavesdroppers. This requirement motivates the study of Inter-Silo Record-Level Differential Privacy (ISRL-DP), which requires silo i's communications to satisfy record/item-level differential privacy (DP). ISRL-DP ensures that the data of each person (e.g. patient) in silo i (e.g. hospital i) cannot be leaked. ISRL-DP is different from well-studied privacy notions. Central and user-level DP assume that people trust the server/other silos. On the other end of the spectrum, local DP assumes that people do not trust anyone at all (even their own silo). Sitting between central and local DP, ISRL-DP makes the realistic assumption (in cross-silo FL) that people trust their own silo, but not the server or other silos. In this work, we provide tight (up to logarithms) upper and lower bounds for ISRL-DP FL with convex/strongly convex loss functions and homogeneous (i.i.d.) silo data. Remarkably, we show that similar bounds are attainable for smooth losses with arbitrary heterogeneous silo data distributions, via an accelerated ISRL-DP algorithm. We also provide tight upper and lower bounds for ISRL-DP federated empirical risk minimization, and use acceleration to attain the optimal bounds in fewer rounds of communication than the state-of-the-art. Finally, with a secure "shuffler" to anonymize silo messages (but without a trusted server), our algorithm attains the optimal central DP rates under more practical trust assumptions. Numerical experiments show favorable privacy-accuracy tradeoffs for our algorithm in classification and regression tasks.
• Abstract（参考訳）: 本稿では、サーバや他のサイロを信頼していない人々からのデータを用いて、フェデレーション学習(FL)、特にクロスサイロFLについて研究する。 この設定では、各サイロ(例えば病院)は、異なる人(例えば患者)からのデータを持ち、サーバや他のサイロが敵の盗聴器として機能していても、各人のデータ(例えば医療記録)のプライバシーを維持する必要がある。 この要件は、レコード/イテムレベルの差分プライバシー(DP)を満たすためにサイロ i の通信を必要とする、ISRL-DP(Inter-Silo Record-Level Differential Privacy)の研究を動機付けている。 ISRL-DPは、サイロi(eg病院i)の各人物(eg患者)のデータが漏洩しないことを保証する。 ISRL-DPは、よく研究されているプライバシー概念とは異なる。 中央およびユーザレベルのDPは、人々がサーバ/他のサイロを信頼していると仮定します。 スペクトルの反対側では、地元のDPは、人々が誰も信用していないと仮定している(自分のサイロでさえ)。 ISRL-DPは、中央のDPとローカルのDPの間に位置するので、サーバや他のサイロではなく、人々が自分のサイロを信頼するという現実的な仮定(クロスサイロFL)が成り立つ。 本研究では、ISRL-DP FL 上の(対数まで)上と下の境界に凸/強凸損失関数と等質な(すなわちd.d.)シロデータを与える。 注目すべきは、ISRL-DPアルゴリズムにより、任意の不均一なサイロデータ分布で同様の境界がスムーズな損失に到達できることである。 また, ISRL-DPフェデレーションによる経験的リスク最小化のために, 上および下限を厳密に設定し, アクセラレーションを用いて, 最先端技術よりも少ない通信ラウンドで最適なバウンドを実現する。 最後に、サイロメッセージを匿名化するセキュアな「シャッフル」により、より実用的な信頼前提の下で、我々のアルゴリズムは最適な中央DPレートを得る。 数値実験により、分類および回帰タスクにおけるアルゴリズムのプライバシーと精度のトレードオフが良好であることが示されている。

関連論文リスト

• Differential Privacy on Trust Graphs [54.55190841518906]
  差分プライバシー(DP)は、各当事者がそのデータで他の当事者の(既知の)サブセットのみを信頼するマルチパーティ環境で研究する。 我々は、DPのローカルモデルよりもはるかに優れたプライバシーとユーティリティのトレードオフを持つ集約のためのDPアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2024-10-15T20:31:04Z)
• Secure Stateful Aggregation: A Practical Protocol with Applications in Differentially-Private Federated Learning [36.42916779389165]
  DP-FTRLベースのアプローチは、すでに業界に広く展開されている。 セキュアなステートフルアグリゲーションを導入します。これは、アグリゲーション値のプライベートストレージを可能にする、単純なアグリゲーションのみのデータ構造です。 DP-FTRLをベースとした私的フェデレーション学習を実現するためには,セキュアなステートフルアグリゲーションが十分である。
  論文  参考訳（メタデータ） (2024-10-15T07:45:18Z)
• Private Heterogeneous Federated Learning Without a Trusted Server Revisited: Error-Optimal and Communication-Efficient Algorithms for Convex Losses [12.620782629498812]
  Inter-Silo Record-Level Differential Privacy (ISRL-DP)は、各サイロのデータ漏洩を防止する。 異種サイロデータの存在下で最適な過大なリスク境界を実現する新しいISRL-DP FLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-12T21:20:44Z)
• ALI-DPFL: Differentially Private Federated Learning with Adaptive Local Iterations [26.310416723272184]
  Federated Learning(FL)は、データではなくトレーニングパラメータを共有することで、複数のデバイスや組織間のモデルトレーニングを可能にする分散機械学習技術である。 敵は、これらのトレーニングパラメータに対する推論攻撃を通じて、個人情報を推論することができる。このような攻撃を防ぐため、FLでは、差分プライバシー(DP)が広く使われている。 我々は、プライバシ予算とコミュニケーションラウンドの両方に制約があるリソース制約のあるシナリオにおいて、差分プライベートなフェデレーション学習を考察する。
  論文  参考訳（メタデータ） (2023-08-21T04:09:59Z)
• Balancing Privacy and Performance for Private Federated Learning Algorithms [4.681076651230371]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにモデルをトレーニングする分散機械学習フレームワークである。 FLアルゴリズムは、共有前に各クライアントのモデル更新にノイズを導入する差分プライバシーメカニズムを頻繁に採用する。 ローカルステップの数と通信ラウンドの間に最適なバランスがあることを示し、プライバシー予算内での収束性能を最大化する。
  論文  参考訳（メタデータ） (2023-04-11T10:42:11Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Private Non-Convex Federated Learning Without a Trusted Server [7.971065005161566]
  非信頼の損失関数を持つクロスサイロ学習(FL)のための新しいアルゴリズムと、他のサイロを信頼していない人のデータを提案する。 我々のアルゴリズムは、凸性やi.d.データを仮定することなく、ISRL-DP FLの最適凸、等質(すなわち等質)を達成する。 数値実験により,我々のアルゴリズムは,ほとんどのプライバシレベルのベースラインよりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-03-13T19:17:15Z)
• Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
  ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。 プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。 以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-11T15:23:28Z)
• Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
  我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。 また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
  論文  参考訳（メタデータ） (2021-10-27T04:11:06Z)
• Locally Differentially Private Reinforcement Learning for Linear Mixture Markov Decision Processes [78.27542864367821]
  強化学習(RL)アルゴリズムは、ユーザのプライベートで機密性の高いデータに依存するパーソナライズされたサービスを提供するために使用することができる。 ユーザのプライバシを保護するために、プライバシ保護RLアルゴリズムが要求されている。 線形混合MDPと呼ばれるマルコフ決定過程(MDP)のクラスを学習するための新しい$(varepsilon, delta)$-LDPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-19T17:44:09Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。