論文の概要: Coded Computing for Federated Learning at the Edge
- arxiv url: http://arxiv.org/abs/2007.03273v3
- Date: Sun, 9 May 2021 20:09:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 19:15:52.375931
- Title: Coded Computing for Federated Learning at the Edge
- Title(参考訳): エッジにおけるフェデレーション学習のためのコードコンピューティング
- Authors: Saurav Prakash, Sagar Dhakal, Mustafa Akdeniz, A. Salman Avestimehr,
Nageen Himayat
- Abstract要約: フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。
最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。
我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
- 参考スコア(独自算出の注目度): 3.385874614913973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is an exciting new paradigm that enables training a
global model from data generated locally at the client nodes, without moving
client data to a centralized server. Performance of FL in a multi-access edge
computing (MEC) network suffers from slow convergence due to heterogeneity and
stochastic fluctuations in compute power and communication link qualities
across clients. A recent work, Coded Federated Learning (CFL), proposes to
mitigate stragglers and speed up training for linear regression tasks by
assigning redundant computations at the MEC server. Coding redundancy in CFL is
computed by exploiting statistical properties of compute and communication
delays. We develop CodedFedL that addresses the difficult task of extending CFL
to distributed non-linear regression and classification problems with
multioutput labels. The key innovation of our work is to exploit distributed
kernel embedding using random Fourier features that transforms the training
task into distributed linear regression. We provide an analytical solution for
load allocation, and demonstrate significant performance gains for CodedFedL
through experiments over benchmark datasets using practical network parameters.
- Abstract(参考訳): Federated Learning(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングできるエキサイティングな新しいパラダイムである。
マルチアクセスエッジコンピューティング(MEC)ネットワークにおけるFLの性能は、計算パワーの不均一性や確率的変動、クライアント間の通信リンク品質などにより、収束が遅い。
最近の研究であるCoded Federated Learning (CFL)では、MECサーバに冗長な計算を割り当てることで、ストラグラーの緩和と線形回帰タスクのトレーニングの高速化が提案されている。
cflの符号化冗長性は計算遅延と通信遅延の統計的性質を利用して計算される。
我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
我々の研究の重要な革新は、トレーニングタスクを分散線形回帰に変換するランダムなフーリエ機能を使って、分散カーネルの埋め込みを利用することです。
我々は,負荷割当解析ソリューションを提供し,実用的なネットワークパラメータを用いたベンチマークデータセットを用いた実験により,CodedFedLの性能向上を示す。
関連論文リスト
- Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-24T13:30:03Z) - TurboSVM-FL: Boosting Federated Learning through SVM Aggregation for
Lazy Clients [44.44776028287441]
TurboSVM-FLは、クライアント側で追加の計算負荷を発生させることのない、新しい統合集約戦略である。
我々は、FEMNIST、CelebA、シェークスピアを含む複数のデータセット上でTurboSVM-FLを評価する。
論文 参考訳(メタデータ) (2024-01-22T14:59:11Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-08-26T11:10:54Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-26T08:13:22Z) - Fast-Convergent Federated Learning via Cyclic Aggregation [10.658882342481542]
フェデレートラーニング(FL)は、複数のエッジデバイス上で共有グローバルモデルを最適化することを目的として、中央サーバに(プライベート)データを送信しない。
本稿では,サーバ側での循環学習率を利用して,性能向上によるトレーニングイテレーション数を削減した。
数値計算の結果,提案したサイクリックアグリゲーションを既存のFLアルゴリズムに簡単に差し込むことで,学習イテレーションの数を効果的に減らし,性能が向上することを確認した。
論文 参考訳(メタデータ) (2022-10-29T07:20:59Z) - Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated
Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。
ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文 参考訳(メタデータ) (2022-09-02T10:29:56Z) - Joint Client Scheduling and Resource Allocation under Channel
Uncertainty in Federated Learning [47.97586668316476]
無線ネットワーク上のフェデレートラーニング(FL)は、クライアントサーバの接続性とクライアントのローカル計算能力の信頼性に依存する。
本稿では、FLを用いたモデルトレーニングの性能を高めるため、クライアントスケジューリングとリソースブロック(RB)割り当ての問題について検討する。
提案手法は,最先端クライアントスケジューリングやRBアロケーション手法と比較して,トレーニング精度損失のギャップを最大40.7%削減する。
論文 参考訳(メタデータ) (2021-06-12T15:18:48Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z) - Coded Computing for Low-Latency Federated Learning over Wireless Edge
Networks [10.395838711844892]
フェデレートラーニングは、データ共有やクライアントデータを集中型サーバに移行することなく、クライアントノードにあるデータからグローバルモデルをトレーニングすることを可能にする。
我々は,構造化符号化冗長性をフェデレーション学習に注入し,ストラグラーを緩和し,訓練手順を高速化する,新しい符号化コンピューティングフレームワーク,CodedFedLを提案する。
論文 参考訳(メタデータ) (2020-11-12T06:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。