論文の概要: Communication-Efficient Federated Learning via Optimal Client Sampling
- arxiv url: http://arxiv.org/abs/2007.15197v2
- Date: Wed, 14 Oct 2020 19:08:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 13:24:10.182513
- Title: Communication-Efficient Federated Learning via Optimal Client Sampling
- Title（参考訳）: 最適なクライアントサンプリングによるコミュニケーション効率のよいフェデレーション学習
- Authors: Monica Ribero, Haris Vikalo
- Abstract要約: フェデレートラーニング(FL)は、中央サーバが多くのクライアントに分散したデータから学習をコーディネートする設定におけるプライバシー上の懸念を改善する。
本稿では,コミュニケーション制約のある環境において,新しい,シンプルで効率的な中央モデルを更新する方法を提案する。
我々は,ロジスティック回帰のための合成データセットと2つのFLベンチマーク,すなわちEMNISTの分類タスクと現実的な言語モデリングタスクを用いて,このポリシーを検証した。
- 参考スコア（独自算出の注目度）: 20.757477553095637
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) ameliorates privacy concerns in settings where a
central server coordinates learning from data distributed across many clients.
The clients train locally and communicate the models they learn to the server;
aggregation of local models requires frequent communication of large amounts of
information between the clients and the central server. We propose a novel,
simple and efficient way of updating the central model in
communication-constrained settings based on collecting models from clients with
informative updates and estimating local updates that were not communicated. In
particular, modeling the progression of model's weights by an
Ornstein-Uhlenbeck process allows us to derive an optimal sampling strategy for
selecting a subset of clients with significant weight updates. The central
server collects updated local models from only the selected clients and
combines them with estimated model updates of the clients that were not
selected for communication. We test this policy on a synthetic dataset for
logistic regression and two FL benchmarks, namely, a classification task on
EMNIST and a realistic language modeling task using the Shakespeare dataset.
The results demonstrate that the proposed framework provides significant
reduction in communication while maintaining competitive or achieving superior
performance compared to a baseline. Our method represents a new line of
strategies for communication-efficient FL that is orthogonal to the existing
user-local methods such as quantization or sparsification, thus complementing
rather than aiming to replace those existing methods.
- Abstract（参考訳）: フェデレートラーニング(FL)は、中央サーバが多くのクライアントに分散したデータから学習をコーディネートする設定におけるプライバシー上の懸念を改善する。
クライアントはローカルにトレーニングし、学習したモデルをサーバに通信する。ローカルモデルの集約は、クライアントと中央サーバの間の大量の情報の頻繁な通信を必要とする。
本稿では,クライアントからのモデル収集と,通信されていないローカル更新を推定して,コミュニケーション制約付き設定における中心モデルを更新する,新しい,シンプルで効率的な方法を提案する。
特に、ornstein-uhlenbeckプロセスによるモデルの重み付けのモデリングにより、かなりの重み付け更新を伴うクライアントのサブセットを選択するための最適なサンプリング戦略を導出できる。
中央サーバは、選択したクライアントのみから更新されたローカルモデルを収集し、通信のために選択されなかったクライアントの予測モデル更新と組み合わせる。
このポリシーをロジスティック回帰のための合成データセットと2つのflベンチマーク、すなわちシェイクスピアデータセットを用いたemnistの分類タスクと現実的な言語モデリングタスクでテストする。
その結果,提案フレームワークは,競争力を維持しつつ,また,ベースラインよりも優れた性能を達成しつつ,コミュニケーションの大幅な削減を図っている。
提案手法は, 通信効率の高いflのための新しい手法であり, 量子化やスパース化といった既存のユーザローカル手法と直交する手法であり, 既存の手法を置き換えようとするのではなく補完するものである。
関連論文リスト
- Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-24T13:30:03Z) - Towards Client Driven Federated Learning [7.528642177161784]
私たちは、クライアントを駆動する新しいFLフレームワークであるクライアント駆動フェデレートラーニング(CDFL:Client-Driven Federated Learning)を紹介します。
CDFLでは、各クライアントは、ローカルにトレーニングされたモデルをサーバにアップロードし、ローカルタスクに合わせてカスタマイズされたモデルを受け取ることで、独立して非同期にモデルを更新する。
論文 参考訳（メタデータ） (2024-05-24T10:17:49Z) - FedNet2Net: Saving Communication and Computations in Federated Learning
with Model Growing [0.0]
フェデレート・ラーニング(Federated Learning, FL)は、最近開発された機械学習の分野である。
本稿では「モデル成長」の概念に基づく新しいスキームを提案する。
提案手法は3つの標準ベンチマークで広範囲に検証され、通信とクライアントの計算の大幅な削減を実現することが示されている。
論文 参考訳（メタデータ） (2022-07-19T21:54:53Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。
FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。
FLの主な課題の1つは、通信オーバーヘッドである。
本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-05T22:09:21Z) - FedLite: A Scalable Approach for Federated Learning on
Resource-constrained Clients [41.623518032533035]
スプリットラーニングでは、モデルのごく一部だけがクライアントに格納され、トレーニングされ、残りの部分はサーバに留まる。
本稿では,勾配補正法を伴って,新たなクラスタリング方式を用いて付加的な通信を圧縮することにより,この問題に対処する。
論文 参考訳（メタデータ） (2022-01-28T00:09:53Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - Timely Communication in Federated Learning [65.1253801733098]
我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。
提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。
各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
論文 参考訳（メタデータ） (2020-12-31T18:52:08Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。