Fugu-MT 論文翻訳(概要): Communication-Efficient Federated Learning through Importance Sampling

論文の概要: Communication-Efficient Federated Learning through Importance Sampling

arxiv url: http://arxiv.org/abs/2306.12625v1
Date: Thu, 22 Jun 2023 01:29:50 GMT
ステータス: 処理完了
システム内更新日: 2023-06-23 15:44:36.191158
Title: Communication-Efficient Federated Learning through Importance Sampling
Title（参考訳）: 重要度サンプリングによるコミュニケーション効率の高い連合学習
Authors: Berivan Isik, Francesco Pase, Deniz Gunduz, Sanmi Koyejo, Tsachy Weissman, Michele Zorzi
Abstract要約: 高い通信コストは、スケーラブルな学習の大きなボトルネックになります。約$D_KL(q_phi(n)|| p_theta)$ bits of communication を必要とするフレームワークを提案する。
参考スコア（独自算出の注目度）: 30.25454897726173
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The high communication cost of sending model updates from the clients to the server is a significant bottleneck for scalable federated learning (FL). Among existing approaches, state-of-the-art bitrate-accuracy tradeoffs have been achieved using stochastic compression methods -- in which the client $n$ sends a sample from a client-only probability distribution $q_{\phi^{(n)}}$, and the server estimates the mean of the clients' distributions using these samples. However, such methods do not take full advantage of the FL setup where the server, throughout the training process, has side information in the form of a pre-data distribution $p_{\theta}$ that is close to the client's distribution $q_{\phi^{(n)}}$ in Kullback-Leibler (KL) divergence. In this work, we exploit this closeness between the clients' distributions $q_{\phi^{(n)}}$'s and the side information $p_{\theta}$ at the server, and propose a framework that requires approximately $D_{KL}(q_{\phi^{(n)}}|| p_{\theta})$ bits of communication. We show that our method can be integrated into many existing stochastic compression frameworks such as FedPM, Federated SGLD, and QSGD to attain the same (and often higher) test accuracy with up to $50$ times reduction in the bitrate.
Abstract（参考訳）: モデル更新をクライアントからサーバに送信する通信コストが高いことは、スケーラブルな連合学習(fl)にとって大きなボトルネックである。クライアント$n$は、クライアントのみの確率分布$q_{\phi^{(n)}}$からサンプルを送り、サーバはこれらのサンプルを使用してクライアントの分布の平均を推定する。しかしながら、これらのメソッドは、トレーニングプロセス全体を通して、クライアントの分散である$q_{\phi^{(n)}}$ in Kullback-Leibler (KL) の分岐に近い、事前データの分散である$p_{\theta}$のサイド情報を持つ、FLセットアップを完全には利用しない。本研究では,クライアントの分散である$q_{\phi^{(n)}}$ とサーバのサイド情報$p_{\theta}$との密接性を利用し,約$d_{kl}(q_{\phi^{(n)}}|| p_{\theta})$ビットの通信を必要とするフレームワークを提案する。提案手法は,federated sgld,qsgdなどの既存の確率圧縮フレームワークと統合して,最大50ドルまでのビットレート削減で同じ(かつしばしば高い)テスト精度を達成することができることを示す。

関連論文リスト

Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文参考訳（メタデータ） (2024-06-03T08:48:49Z)
Byzantine-Robust Federated Learning: Impact of Client Subsampling and Local Updates [11.616782769625003]
逆境(エム・ビザンティン)のクライアントは、連邦学習(FL)を任意に操作する傾向がある。学習精度の向上は, サブサンプルクライアント数に対して著しく低下することを示す。また、注意深いステップ選択の下では、ビザンティンのクライアントによる学習エラーは局所的なステップの数とともに減少する。
論文参考訳（メタデータ） (2024-02-20T07:40:11Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
論文参考訳（メタデータ） (2023-06-21T17:39:16Z)
Towards Bias Correction of FedAvg over Nonuniform and Time-Varying Communications [26.597515045714502]
Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を通じてモデルをトレーニングする分散学習フレームワークである。チャネル条件が時間とともに変化している場合、FedFederated Postponedグローバルモデルは、ゴシップ型情報混合エラーを延期しないことを示す。
論文参考訳（メタデータ） (2023-06-01T01:52:03Z)
Privacy Amplification via Compression: Achieving the Optimal Privacy-Accuracy-Communication Trade-off in Distributed Mean Estimation [20.909302074826666]
プライバシとコミュニケーションの制約は、連邦学習(FL)と分析(FA)の2つの主要なボトルネックであるそれぞれのクライアントが$Thetaleft(n minleft(varepsilon, varepsilon2right)$ bits for FL と $Thetaleft(logleft(minleft(varepsilon, varepsilon2right)$)$ bits for FA の送信に十分であることを示す。
論文参考訳（メタデータ） (2023-04-04T05:37:17Z)
Federated Learning with Regularized Client Participation [1.433758865948252]
Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。 FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
論文参考訳（メタデータ） (2023-02-07T18:26:07Z)
Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文参考訳（メタデータ） (2022-11-10T13:20:56Z)
Rate-Distortion Theoretic Bounds on Generalization Error for Distributed Learning [9.00236182523638]
本稿では,統計的分散学習アルゴリズムの一般化誤差の新しい上限を確立するために,レート歪み理論のツールを用いる。境界は各クライアントのアルゴリズムの圧縮性に依存し、他のクライアントのアルゴリズムは圧縮されない。
論文参考訳（メタデータ） (2022-06-06T13:21:52Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)
Timely Communication in Federated Learning [65.1253801733098]
我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
論文参考訳（メタデータ） (2020-12-31T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。