論文の概要: Shuffled Model of Federated Learning: Privacy, Communication and
Accuracy Trade-offs
- arxiv url: http://arxiv.org/abs/2008.07180v2
- Date: Wed, 23 Sep 2020 16:54:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 03:26:16.616683
- Title: Shuffled Model of Federated Learning: Privacy, Communication and
Accuracy Trade-offs
- Title（参考訳）: フェデレーション学習のシャッフルモデル:プライバシ、コミュニケーション、精度のトレードオフ
- Authors: Antonious M. Girgis, Deepesh Data, Suhas Diggavi, Peter Kairouz, and
Ananda Theertha Suresh
- Abstract要約: 通信効率とプライバシ要求を考慮した分散経験的リスク最小化(ERM)の最適化問題を考察する。
いくつかの$ell_p$空間に対するプライベート平均推定のための(最適)通信効率スキームを開発する。
完全精度通信を用いた最近の手法で開発された,同一のプライバシ,最適化性能のオペレーティングポイントを実現できることを示す。
- 参考スコア（独自算出の注目度）: 30.58690911428577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider a distributed empirical risk minimization (ERM) optimization
problem with communication efficiency and privacy requirements, motivated by
the federated learning (FL) framework. Unique challenges to the traditional ERM
problem in the context of FL include (i) need to provide privacy guarantees on
clients' data, (ii) compress the communication between clients and the server,
since clients might have low-bandwidth links, (iii) work with a dynamic client
population at each round of communication between the server and the clients,
as a small fraction of clients are sampled at each round. To address these
challenges we develop (optimal) communication-efficient schemes for private
mean estimation for several $\ell_p$ spaces, enabling efficient gradient
aggregation for each iteration of the optimization solution of the ERM. We also
provide lower and upper bounds for mean estimation with privacy and
communication constraints for arbitrary $\ell_p$ spaces. To get the overall
communication, privacy, and optimization performance operation point, we
combine this with privacy amplification opportunities inherent to this setup.
Our solution takes advantage of the inherent privacy amplification provided by
client sampling and data sampling at each client (through Stochastic Gradient
Descent) as well as the recently developed privacy framework using
anonymization, which effectively presents to the server responses that are
randomly shuffled with respect to the clients. Putting these together, we
demonstrate that one can get the same privacy, optimization-performance
operating point developed in recent methods that use full-precision
communication, but at a much lower communication cost, i.e., effectively
getting communication efficiency for "free".
- Abstract（参考訳）: 本稿では,コミュニケーション効率とプライバシ要件を考慮した分散経験的リスク最小化(ERM)の最適化問題について考察する。
flの文脈における伝統的なerm問題の独特な挑戦
(i)クライアントのデータにプライバシー保証を提供する必要がある。
(ii)クライアントは低帯域幅リンクを持つ可能性があるため、クライアントとサーバ間の通信を圧縮する。
(iii)各ラウンド毎に少数のクライアントをサンプリングするため、サーバとクライアント間の通信毎に動的クライアント人口を扱う。
これらの課題に対処するために、いくつかの$\ell_p$空間に対するプライベート平均推定のための(最適)通信効率スキームを開発し、ERMの最適化解の反復ごとに効率的な勾配アグリゲーションを可能にする。
また、任意の$\ell_p$空間に対して、プライバシーと通信制約による平均推定を下限と上限に設定する。
全体としてのコミュニケーション,プライバシ,最適化パフォーマンスの運用ポイントを得るため,この設定に固有のプライバシー強化の機会と組み合わせる。
我々のソリューションは、クライアントのサンプリングとデータサンプリング(Stochastic Gradient Descentを通じて)によって提供される固有のプライバシー増幅と、匿名化を利用した最近開発されたプライバシーフレームワークを活用し、クライアントに対してランダムにシャッフルされたサーバーレスポンスを効果的に提示する。
これらを組み合わせることで,従来の通信方式と同じプライバシ,最適化,パフォーマンスの面での運用ポイントが得られることを実証するが,通信コストははるかに低く,すなわち「フリー」の通信効率を効果的に得ることができる。
関連論文リスト
- Using Synthetic Data to Mitigate Unfairness and Preserve Privacy through Single-Shot Federated Learning [6.516872951510096]
本稿では,クライアントとサーバ間で情報を渡すことなく,クライアント間の公正な予測を促進する戦略を提案する。
次に、各クライアントの合成データセットをサーバに渡します。
論文 参考訳（メタデータ） (2024-09-14T21:04:11Z) - Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。
1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。
複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
論文 参考訳（メタデータ） (2024-05-22T12:27:24Z) - Greedy Shapley Client Selection for Communication-Efficient Federated
Learning [32.38170282930876]
フェデレートラーニング(FL)のための標準的なクライアント選択アルゴリズムは、しばしばバイアスがなく、クライアントのランダムサンプリングが一様である。
私たちは、各通信ラウンドで最も貢献するクライアントを特定し、優しく選択する、バイアスのあるクライアント選択戦略であるGreedyFedを開発します。
複数の実世界のデータセット上のさまざまなクライアント選択戦略と比較して、GreedyFedは、タイミング制約の下で高い精度で高速で安定した収束を示す。
論文 参考訳（メタデータ） (2023-12-14T16:44:38Z) - User-Centric Federated Learning: Trading off Wireless Resources for
Personalization [18.38078866145659]
フェデレートラーニング(FL)システムでは、統計的不均一性はアルゴリズム収束時間を増やし、一般化性能を低下させる。
FLが課すプライバシー制約に違反することなく、上記の問題に対処するためには、パーソナライズされたFLメソッドは、データに直接アクセスすることなく、統計的に類似したクライアントを結合する必要がある。
本研究では,容易に利用できる勾配情報に基づいて,FLクライアント毎にパーソナライズされたモデルを生成可能なユーザ中心集約ルールを設計する。
提案アルゴリズムは,平均精度,ノード性能,通信オーバヘッドの訓練において,パーソナライズされたFLベースラインを上回っている。
論文 参考訳（メタデータ） (2023-04-25T15:45:37Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳（メタデータ） (2023-04-11T14:51:55Z) - Regulating Clients' Noise Adding in Federated Learning without
Verification [24.196751469021848]
連合学習では、クライアントは生のデータではなく勾配やパラメータを明らかにすることなく、グローバルモデルを協調的にトレーニングする。
このようなプライバシー上の懸念から、クライアントはローカルアップデートに過剰に人工的なノイズを加え、グローバルモデルのトレーニングを損なう可能性がある。
本稿では,プライバシに敏感なクライアントに対して,パラメータの更新を検証せずに新たな価格設定機構を提案する。
論文 参考訳（メタデータ） (2023-02-24T16:44:15Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳（メタデータ） (2022-10-14T08:11:34Z) - Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。
マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。
VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
論文 参考訳（メタデータ） (2022-07-20T23:14:33Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳（メタデータ） (2021-06-20T13:51:18Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。