論文の概要: Multi-Message Shuffled Privacy in Federated Learning

• arxiv url: http://arxiv.org/abs/2302.11152v1
• Date: Wed, 22 Feb 2023 05:23:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 16:16:59.923796
• Title: Multi-Message Shuffled Privacy in Federated Learning
• Title（参考訳）: フェデレーション学習におけるマルチメッセージシャッフルプライバシー
• Authors: Antonious M. Girgis and Suhas Diggavi
• Abstract要約: 本稿では,通信制約下での分散最適化について検討する。 最適化にSGDを用いたサーバは、分散平均推定(DME)を用いたモデル更新のためのクライアント側局所勾配を集約する 最近開発されたMMS(Multi-message shuffled)プライバシーフレームワークを用いて,通信効率の良いプライベートDMEを開発する。
• 参考スコア（独自算出の注目度）: 2.6778110563115542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study differentially private distributed optimization under communication constraints. A server using SGD for optimization aggregates the client-side local gradients for model updates using distributed mean estimation (DME). We develop a communication-efficient private DME, using the recently developed multi-message shuffled (MMS) privacy framework. We analyze our proposed DME scheme to show that it achieves the order-optimal privacy-communication-performance tradeoff resolving an open question in [1], whether the shuffled models can improve the tradeoff obtained in Secure Aggregation. This also resolves an open question on the optimal trade-off for private vector sum in the MMS model. We achieve it through a novel privacy mechanism that non-uniformly allocates privacy at different resolutions of the local gradient vectors. These results are directly applied to give guarantees on private distributed learning algorithms using this for private gradient aggregation iteratively. We also numerically evaluate the private DME algorithms.
• Abstract（参考訳）: 通信制約下での離散的分散最適化について検討する。 最適化にSGDを使用するサーバは、分散平均推定(DME)を用いて、モデル更新のクライアント側局所勾配を集約する。 最近開発されたMMS(Multi-message shuffled)プライバシーフレームワークを用いて,通信効率の良いプライベートDMEを開発する。 提案するdme方式を解析し,(1)においてオープン質問を解決し,シャッフルモデルがセキュアアグリゲーションで得られたトレードオフを改善することができるかどうかを明らかにする。 これはまた、MMSモデルにおけるプライベートベクトル和の最適トレードオフに関するオープンな問題も解決する。 我々は、局所勾配ベクトルの異なる解像度で一様でないプライバシを割り当てる新しいプライバシメカニズムによって実現している。 これらの結果は、プライベート勾配集約を反復的に使用するプライベート分散学習アルゴリズムに保証を与えるために直接適用される。 また,プライベートDMEアルゴリズムの数値評価を行った。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• Adaptively Private Next-Token Prediction of Large Language Models [13.297381972044558]
  プライバシを損なう可能性のあるクエリをフィルタリングする,ノイズの多いスクリーニング機構を導入する。 AdaPMixEDは、元のPMixED上のユーティリティを保持しながら、プライバシ損失を16倍に削減できる。
  論文  参考訳（メタデータ） (2024-10-02T20:34:24Z)
• Differentially Private Next-Token Prediction of Large Language Models [13.297381972044558]
  差分プライバシーを保証するためにモデルをトレーニングするDP-SGDは、ホワイトボックスがモデルにアクセスできるという敵の能力を過大評価する。 本稿では,次トーケンサンプリングの本質を生かした,次トーケン予測のためのプライベート予測プロトコルPMixEDと,差分プライバシーを実現するための公開モデルを提案する。 その結果,PMixEDはサンプルレベルのプライバシよりも強力なプライバシ保証を実現し,プライバシ$epsilon=8$でDP-SGDを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-22T22:27:44Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Balancing Privacy and Performance for Private Federated Learning Algorithms [4.681076651230371]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにモデルをトレーニングする分散機械学習フレームワークである。 FLアルゴリズムは、共有前に各クライアントのモデル更新にノイズを導入する差分プライバシーメカニズムを頻繁に採用する。 ローカルステップの数と通信ラウンドの間に最適なバランスがあることを示し、プライバシー予算内での収束性能を最大化する。
  論文  参考訳（メタデータ） (2023-04-11T10:42:11Z)
• From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning [4.202534541804858]
  雑音の多い固定点反復の例として、差分プライベート(DP)機械学習アルゴリズムについて検討する。 我々は、プライバシーの増幅をサブサンプリングによって活用する強力なプライバシー保証を確立する。 雑音の多い不動点反復に対する最近の線形収束結果を利用する統一解析を用いてユーティリティ保証を行う。
  論文  参考訳（メタデータ） (2023-02-24T10:24:03Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• On Differential Privacy for Federated Learning in Wireless Systems with Multiple Base Stations [90.53293906751747]
  複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。 本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。 提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
  論文  参考訳（メタデータ） (2022-08-25T03:37:11Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)
• Towards Plausible Differentially Private ADMM Based Distributed Machine Learning [27.730535587906168]
  本稿では,PP-ADMM と IPP-ADMM という,可塑性差分ADMM アルゴリズムを提案する。 同じプライバシ保証の下では、提案アルゴリズムはモデル精度と収束率の観点から、最先端技術である。
  論文  参考訳（メタデータ） (2020-08-11T03:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。