論文の概要: Communication-Efficient Federated Learning through Importance Sampling
- arxiv url: http://arxiv.org/abs/2306.12625v2
- Date: Sun, 25 Jun 2023 04:43:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 10:22:27.195902
- Title: Communication-Efficient Federated Learning through Importance Sampling
- Title(参考訳): 重要度サンプリングによるコミュニケーション効率の高い連合学習
- Authors: Berivan Isik, Francesco Pase, Deniz Gunduz, Sanmi Koyejo, Tsachy
Weissman, Michele Zorzi
- Abstract要約: 高い通信コストは、スケーラブルな学習の大きなボトルネックになります。
約$D_KL(q_phi(n)|| p_theta)$ bits of communication を必要とするフレームワークを提案する。
- 参考スコア(独自算出の注目度): 30.25454897726173
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The high communication cost of sending model updates from the clients to the
server is a significant bottleneck for scalable federated learning (FL). Among
existing approaches, state-of-the-art bitrate-accuracy tradeoffs have been
achieved using stochastic compression methods -- in which the client $n$ sends
a sample from a client-only probability distribution $q_{\phi^{(n)}}$, and the
server estimates the mean of the clients' distributions using these samples.
However, such methods do not take full advantage of the FL setup where the
server, throughout the training process, has side information in the form of a
pre-data distribution $p_{\theta}$ that is close to the client's distribution
$q_{\phi^{(n)}}$ in Kullback-Leibler (KL) divergence. In this work, we exploit
this closeness between the clients' distributions $q_{\phi^{(n)}}$'s and the
side information $p_{\theta}$ at the server, and propose a framework that
requires approximately $D_{KL}(q_{\phi^{(n)}}|| p_{\theta})$ bits of
communication. We show that our method can be integrated into many existing
stochastic compression frameworks such as FedPM, Federated SGLD, and QSGD to
attain the same (and often higher) test accuracy with up to $50$ times
reduction in the bitrate.
- Abstract(参考訳): モデル更新をクライアントからサーバに送信する通信コストが高いことは、スケーラブルな連合学習(fl)にとって大きなボトルネックである。
クライアント$n$は、クライアントのみの確率分布$q_{\phi^{(n)}}$からサンプルを送り、サーバはこれらのサンプルを使用してクライアントの分布の平均を推定する。
しかしながら、これらのメソッドは、トレーニングプロセス全体を通して、クライアントの分散である$q_{\phi^{(n)}}$ in Kullback-Leibler (KL) の分岐に近い、事前データの分散である$p_{\theta}$のサイド情報を持つ、FLセットアップを完全には利用しない。
本研究では,クライアントの分散である$q_{\phi^{(n)}}$ とサーバのサイド情報$p_{\theta}$との密接性を利用し,約$d_{kl}(q_{\phi^{(n)}}|| p_{\theta})$ビットの通信を必要とするフレームワークを提案する。
提案手法は,federated sgld,qsgdなどの既存の確率圧縮フレームワークと統合して,最大50ドルまでのビットレート削減で同じ(かつしばしば高い)テスト精度を達成することができることを示す。
関連論文リスト
- Tackling Byzantine Clients in Federated Learning [12.199314713190354]
逆境(エム・ビザンティン)のクライアントは、連邦学習(FL)を任意に操作する傾向がある。
学習精度の向上は, サブサンプルクライアント数に対して著しく低下することを示す。
また、注意深いステップ選択の下では、ビザンティンのクライアントによる学習エラーは局所的なステップの数とともに減少する。
論文 参考訳(メタデータ) (2024-02-20T07:40:11Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Towards Bias Correction of FedAvg over Nonuniform and Time-Varying
Communications [26.597515045714502]
Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を通じてモデルをトレーニングする分散学習フレームワークである。
チャネル条件が時間とともに変化している場合、FedFederated Postponedグローバルモデルは、ゴシップ型情報混合エラーを延期しないことを示す。
論文 参考訳(メタデータ) (2023-06-01T01:52:03Z) - Stochastic Approximation Approaches to Group Distributionally Robust
Optimization [96.26317627118912]
群分散ロバスト最適化(GDRO)
オンライン学習技術は、各ラウンドに必要なサンプル数をm$から1$に減らし、同じサンプルを保持する。
分布依存収束率を導出できる重み付きGDROの新規な定式化。
論文 参考訳(メタデータ) (2023-02-18T09:24:15Z) - Federated Learning with Regularized Client Participation [1.433758865948252]
Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。
FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。
本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
論文 参考訳(メタデータ) (2023-02-07T18:26:07Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳(メタデータ) (2022-09-21T17:37:54Z) - Rate-Distortion Theoretic Bounds on Generalization Error for Distributed
Learning [9.00236182523638]
本稿では,統計的分散学習アルゴリズムの一般化誤差の新しい上限を確立するために,レート歪み理論のツールを用いる。
境界は各クライアントのアルゴリズムの圧縮性に依存し、他のクライアントのアルゴリズムは圧縮されない。
論文 参考訳(メタデータ) (2022-06-06T13:21:52Z) - Federated Stochastic Primal-dual Learning with Differential Privacy [15.310299472656533]
差分プライバシ(FedSPDDP)を用いた新しいフェデレーション原始双対アルゴリズムを提案する。
分析の結果、データサンプリング戦略とPCPはデータのプライバシを高めることができる一方で、ローカルなSGDステップが多ければ多いほど、プライバシリークが増大する可能性が示唆された。
提案アルゴリズムの実用性能を評価する実験結果を示す。
論文 参考訳(メタデータ) (2022-04-26T13:10:37Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳(メタデータ) (2021-11-19T12:58:59Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z) - Timely Communication in Federated Learning [65.1253801733098]
我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。
提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。
各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
論文 参考訳(メタデータ) (2020-12-31T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。