論文の概要: DP-NormFedAvg: Normalizing Client Updates for Privacy-Preserving Federated Learning

• arxiv url: http://arxiv.org/abs/2106.07094v1
• Date: Sun, 13 Jun 2021 21:23:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:15:58.455072
• Title: DP-NormFedAvg: Normalizing Client Updates for Privacy-Preserving Federated Learning
• Title（参考訳）: DP-NormFedAvg:プライバシ保護フェデレーション学習のためのクライアントアップデートの標準化
• Authors: Rudrajit Das, Abolfazl Hashemi, Sujay Sanghavi, Inderjit S. Dhillon
• Abstract要約: 我々は,クライアントに対して,大局的な情報の観点から,テキスト単位のみを定量化したバージョンを送信させることを提案する。 また、単位ノルムの新しい微分プライベート量子化機構であるQTDLを導入する。
• 参考スコア（独自算出の注目度）: 48.064786028195506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we focus on facilitating differentially private quantized communication between the clients and server in federated learning (FL). Towards this end, we propose to have the clients send a \textit{private quantized} version of only the \textit{unit vector} along the change in their local parameters to the server, \textit{completely throwing away the magnitude information}. We call this algorithm \texttt{DP-NormFedAvg} and show that it has the same order-wise convergence rate as \texttt{FedAvg} on smooth quasar-convex functions (an important class of non-convex functions for modeling optimization of deep neural networks), thereby establishing that discarding the magnitude information is not detrimental from an optimization point of view. We also introduce QTDL, a new differentially private quantization mechanism for unit-norm vectors, which we use in \texttt{DP-NormFedAvg}. QTDL employs \textit{discrete} noise having a Laplacian-like distribution on a \textit{finite support} to provide privacy. We show that under a growth-condition assumption on the per-sample client losses, the extra per-coordinate communication cost in each round incurred due to privacy by our method is $\mathcal{O}(1)$ with respect to the model dimension, which is an improvement over prior work. Finally, we show the efficacy of our proposed method with experiments on fully-connected neural networks trained on CIFAR-10 and Fashion-MNIST.
• Abstract（参考訳）: 本稿では,フェデレートラーニング(FL)におけるクライアントとサーバ間の差分プライベートな量子化通信の促進に焦点をあてる。 この目的に向けて、我々はクライアントに対して、ローカルパラメータの変更に伴う \textit{private quantized} のみの \textit{unit vector} バージョンをサーバに送ることを提案している。 我々はこのアルゴリズムを「texttt{DP-NormFedAvg}」と呼び、滑らかな準凸関数(ディープニューラルネットワークの最適化をモデル化するための非凸関数の重要なクラス)上で、その次数収束速度が \texttt{FedAvg} と同じであることを示す。 また、単位ノルムベクトルに対する新たな微分プライベート量子化機構であるQTDLを導入し、これをtexttt{DP-NormFedAvg} で使用する。 QTDLは、プライバシーを提供するために、ラプラシア風の分布を持つ \textit{discrete} ノイズを用いる。 提案手法では,サンプル毎のクライアント損失に対する成長条件の仮定の下で,プライバシによるラウンド毎の通信コストはモデル次元に対して$\mathcal{o}(1)$である。 最後に,CIFAR-10 と Fashion-MNIST で学習した完全連結ニューラルネットワークの実験により,提案手法の有効性を示す。

関連論文リスト

• FedScalar: A Communication efficient Federated Learning [0.0]
  フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。 emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T07:06:49Z)
• One-Shot Federated Learning with Bayesian Pseudocoresets [19.53527340816458]
  分散関数空間推論はベイズ擬似コア集合の学習と密接に関連していることを示す。 提案手法は,最先端技術と競合する予測性能を実現するとともに,最大2桁の通信コストの大幅な削減を図っている。
  論文  参考訳（メタデータ） (2024-06-04T10:14:39Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Share Your Representation Only: Guaranteed Improvement of the Privacy-Utility Tradeoff in Federated Learning [47.042811490685324]
  この情報漏洩のリスクを減らし、最先端の差分プライベートアルゴリズムを使っても、無料ではない。 本稿では,異なるプライバシ保証を持つフェデレーションモデルにおいて,様々な当事者が協調的に洗練する表現学習の目的について考察する。 同じ小さなプライバシ予算の下で、以前の作業よりも大幅にパフォーマンスが向上するのを観察する。
  論文  参考訳（メタデータ） (2023-09-11T14:46:55Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Federated Gaussian Process: Convergence, Automatic Personalization and Multi-fidelity Modeling [4.18804572788063]
  textttFGPRは、プライバシー保護のための多要素データモデリングにおいて有望なアプローチであることを示す。 textttFGPRは幅広いアプリケーションで優れており、プライバシー保護のための多要素データモデリングにおいて有望なアプローチであることを示す。
  論文  参考訳（メタデータ） (2021-11-28T00:17:31Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。