論文の概要: Coded Computing for Low-Latency Federated Learning over Wireless Edge
Networks
- arxiv url: http://arxiv.org/abs/2011.06223v2
- Date: Sun, 9 May 2021 19:46:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-26 06:50:04.856637
- Title: Coded Computing for Low-Latency Federated Learning over Wireless Edge
Networks
- Title（参考訳）: 無線エッジネットワークを用いた低レイテンシフェデレーション学習のための符号化計算
- Authors: Saurav Prakash, Sagar Dhakal, Mustafa Akdeniz, Yair Yona, Shilpa
Talwar, Salman Avestimehr, Nageen Himayat
- Abstract要約: フェデレートラーニングは、データ共有やクライアントデータを集中型サーバに移行することなく、クライアントノードにあるデータからグローバルモデルをトレーニングすることを可能にする。
我々は,構造化符号化冗長性をフェデレーション学習に注入し,ストラグラーを緩和し,訓練手順を高速化する,新しい符号化コンピューティングフレームワーク,CodedFedLを提案する。
- 参考スコア（独自算出の注目度）: 10.395838711844892
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning enables training a global model from data located at the
client nodes, without data sharing and moving client data to a centralized
server. Performance of federated learning in a multi-access edge computing
(MEC) network suffers from slow convergence due to heterogeneity and stochastic
fluctuations in compute power and communication link qualities across clients.
We propose a novel coded computing framework, CodedFedL, that injects
structured coding redundancy into federated learning for mitigating stragglers
and speeding up the training procedure. CodedFedL enables coded computing for
non-linear federated learning by efficiently exploiting distributed kernel
embedding via random Fourier features that transforms the training task into
computationally favourable distributed linear regression. Furthermore, clients
generate local parity datasets by coding over their local datasets, while the
server combines them to obtain the global parity dataset. Gradient from the
global parity dataset compensates for straggling gradients during training, and
thereby speeds up convergence. For minimizing the epoch deadline time at the
MEC server, we provide a tractable approach for finding the amount of coding
redundancy and the number of local data points that a client processes during
training, by exploiting the statistical properties of compute as well as
communication delays. We also characterize the leakage in data privacy when
clients share their local parity datasets with the server. We analyze the
convergence rate and iteration complexity of CodedFedL under simplifying
assumptions, by treating CodedFedL as a stochastic gradient descent algorithm.
Furthermore, we conduct numerical experiments using practical network
parameters and benchmark datasets, where CodedFedL speeds up the overall
training time by up to $15\times$ in comparison to the benchmark schemes.
- Abstract（参考訳）: フェデレーション学習は、データ共有や集中型サーバへの移動なしに、クライアントノードにあるデータからグローバルモデルをトレーニングすることを可能にする。
マルチアクセスエッジコンピューティング(MEC)ネットワークにおけるフェデレート学習の性能は、計算パワーの不均一性や確率的変動、クライアント間の通信リンク品質などによる収束が遅い。
我々は,構造化符号化冗長性をフェデレーション学習に注入し,ストラグラーを緩和し,訓練手順を高速化する,新しい符号化コンピューティングフレームワーク,CodedFedLを提案する。
codedfedlは、トレーニングタスクを計算的に有利な分散線形回帰に変換するランダムフーリエ機能を介して分散カーネル埋め込みを効率的に活用することにより、非線形連立学習のためのコード化コンピューティングを可能にする。
さらに、クライアントはローカルデータセットをコーディングしてローカルパリティデータセットを生成し、サーバはそれらを組み合わせてグローバルパリティデータセットを取得する。
グローバルパリティデータセットからのグラディエントは、トレーニング中に階層的勾配を補正し、コンバージェンスを高速化する。
MECサーバにおけるエポックデッドラインタイムの最小化のために,コンピュータの統計特性と通信遅延を利用して,クライアントが訓練中に処理するコーディング冗長度とローカルデータポイント数を求めるためのトラクタブルアプローチを提案する。
また、クライアントがローカルのパリティデータセットをサーバと共有したときのデータプライバシのリークを特徴付ける。
我々は、CodedFedLを確率勾配降下アルゴリズムとして扱うことにより、簡単な仮定の下で、CodedFedLの収束率と繰り返しの複雑さを解析する。
さらに,実際のネットワークパラメータとベンチマークデータセットを用いて数値実験を行い,ベンチマーク手法と比較して,CodedFedLはトレーニング時間を最大15\times$で高速化する。
関連論文リスト
- Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-24T13:30:03Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳（メタデータ） (2022-01-25T04:43:29Z) - Joint Client Scheduling and Resource Allocation under Channel
Uncertainty in Federated Learning [47.97586668316476]
無線ネットワーク上のフェデレートラーニング(FL)は、クライアントサーバの接続性とクライアントのローカル計算能力の信頼性に依存する。
本稿では、FLを用いたモデルトレーニングの性能を高めるため、クライアントスケジューリングとリソースブロック(RB)割り当ての問題について検討する。
提案手法は,最先端クライアントスケジューリングやRBアロケーション手法と比較して,トレーニング精度損失のギャップを最大40.7%削減する。
論文 参考訳（メタデータ） (2021-06-12T15:18:48Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z) - Coded Computing for Federated Learning at the Edge [3.385874614913973]
フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。
最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。
我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
論文 参考訳（メタデータ） (2020-07-07T08:20:47Z) - Multi-Armed Bandit Based Client Scheduling for Federated Learning [91.91224642616882]
統合学習(FL)は、通信オーバーヘッドの低減やデータのプライバシの保護など、ユビキタスな特性を特徴とする。
FLの各通信ラウンドでは、クライアントは自身のデータに基づいてローカルモデルを更新し、無線チャネル経由でローカル更新をアップロードする。
本研究は、無線チャネルの状態情報やクライアントの統計的特性を知ることなく、FLにおけるオンラインクライアントスケジューリング(CS)のためのマルチアームバンディットベースのフレームワークを提供する。
論文 参考訳（メタデータ） (2020-07-05T12:32:32Z) - Coded Federated Learning [5.375775284252717]
フェデレートラーニング(Federated Learning)とは、クライアントデバイスに分散した分散データからグローバルモデルをトレーニングする手法である。
この結果から,CFLでは,符号化されていない手法に比べて,大域的モデルを約4倍の速度で収束させることができることがわかった。
論文 参考訳（メタデータ） (2020-02-21T23:06:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。