論文の概要: Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees
- arxiv url: http://arxiv.org/abs/2201.10092v2
- Date: Wed, 26 Jan 2022 01:39:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-27 13:39:17.842340
- Title: Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees
- Title（参考訳）: コンバージェンスとプライバシ保証による確率符号化型フェデレーション学習
- Authors: Yuchang Sun and Jiawei Shao and Songze Li and Yuyi Mao and Jun Zhang
- Abstract要約: フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
- 参考スコア（独自算出の注目度）: 8.2189389638822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has attracted much attention as a privacy-preserving
distributed machine learning framework, where many clients collaboratively
train a machine learning model by exchanging model updates with a parameter
server instead of sharing their raw data. Nevertheless, FL training suffers
from slow convergence and unstable performance due to stragglers caused by the
heterogeneous computational resources of clients and fluctuating communication
rates. This paper proposes a coded FL framework, namely stochastic coded
federated learning (SCFL) to mitigate the straggler issue. In the proposed
framework, each client generates a privacy-preserving coded dataset by adding
additive noise to the random linear combination of its local data. The server
collects the coded datasets from all the clients to construct a composite
dataset, which helps to compensate for the straggling effect. In the training
process, the server as well as clients perform mini-batch stochastic gradient
descent (SGD), and the server adds a make-up term in model aggregation to
obtain unbiased gradient estimates. We characterize the privacy guarantee by
the mutual information differential privacy (MI-DP) and analyze the convergence
performance in federated learning. Besides, we demonstrate a
privacy-performance tradeoff of the proposed SCFL method by analyzing the
influence of the privacy constraint on the convergence rate. Finally, numerical
experiments corroborate our analysis and show the benefits of SCFL in achieving
fast convergence while preserving data privacy.
- Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、プライバシを保護した分散機械学習フレームワークとして、多くのクライアントが生のデータを共有するのではなく、パラメータサーバとモデル更新を交換して機械学習モデルを協調的にトレーニングする。
それでも、FLトレーニングは、クライアントの不均一な計算資源と変動する通信速度によって引き起こされるトラグラーによって、緩やかな収束と不安定な性能に悩まされている。
本稿では,ストラグラー問題を緩和するために,確率的符号化フェデレーション学習(SCFL)というプログラミングFLフレームワークを提案する。
提案フレームワークでは,各クライアントが局所データのランダムな線形結合に付加ノイズを加えることにより,プライバシ保護符号化データセットを生成する。
サーバは、コード化されたデータセットをすべてのクライアントから収集し、複合データセットを構築する。
トレーニングプロセスにおいて、サーバおよびクライアントは、ミニバッチ確率勾配降下(SGD)を行い、サーバはモデル集約において化粧語を追加して、偏りのない勾配推定値を得る。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
さらに,プライバシ制約が収束率に与える影響を分析することで,提案手法のプライバシ性能のトレードオフを実証する。
最後に,データプライバシを保ちながら高速収束を実現する上でSCFLの利点を示す数値実験を行った。
関連論文リスト
- Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-24T13:30:03Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - PS-FedGAN: An Efficient Federated Learning Framework Based on Partially
Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。
本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。
PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
論文 参考訳（メタデータ） (2023-05-19T05:39:40Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Stochastic Coded Federated Learning: Theoretical Analysis and Incentive
Mechanism Design [18.675244280002428]
我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。
SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。
SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
論文 参考訳（メタデータ） (2022-11-08T09:58:36Z) - DReS-FL: Dropout-Resilient Secure Federated Learning for Non-IID Clients
via Secret Data Sharing [7.573516684862637]
フェデレートラーニング(FL)は、クライアントのプライベートデータを集中的に収集することなく、機械学習モデルの協調トレーニングを可能にする。
本稿では,ラグランジュコンピューティングに基づくDropout-Resilient Secure Federated Learningフレームワークを提案する。
DReS-FLはクライアントのドロップアウトに対して耐性があり、ローカルデータセットのプライバシ保護を提供する。
論文 参考訳（メタデータ） (2022-10-06T05:04:38Z) - Federated Learning in Non-IID Settings Aided by Differentially Private
Synthetic Data [20.757477553095637]
Federated Learning(FL)は、クライアントが機械学習モデルを協調的にトレーニングすることを可能にする、プライバシプロモーティングフレームワークである。
連合学習における大きな課題は、局所データが不均一であるときに生じる。
我々は、クライアントが変動自動エンコーダをデプロイして、遅延データ表現の微分プライベートな手段を用いて、ローカルデータセットを合成するFLアルゴリズムであるFedDPMSを提案する。
論文 参考訳（メタデータ） (2022-06-01T18:00:48Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Coded Computing for Low-Latency Federated Learning over Wireless Edge
Networks [10.395838711844892]
フェデレートラーニングは、データ共有やクライアントデータを集中型サーバに移行することなく、クライアントノードにあるデータからグローバルモデルをトレーニングすることを可能にする。
我々は,構造化符号化冗長性をフェデレーション学習に注入し,ストラグラーを緩和し,訓練手順を高速化する,新しい符号化コンピューティングフレームワーク,CodedFedLを提案する。
論文 参考訳（メタデータ） (2020-11-12T06:21:59Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。