論文の概要: Communication-Efficient Federated Learning with Dual-Side Low-Rank
Compression
- arxiv url: http://arxiv.org/abs/2104.12416v1
- Date: Mon, 26 Apr 2021 09:13:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 14:21:32.204581
- Title: Communication-Efficient Federated Learning with Dual-Side Low-Rank
Compression
- Title（参考訳）: デュアルサイド低ランク圧縮によるコミュニケーション効率のよいフェデレーション学習
- Authors: Zhefeng Qiao, Xianghao Yu, Jun Zhang, Khaled B. Letaief
- Abstract要約: Federated Learning(FL)は、クライアントの生データを共有せずにディープラーニングモデルをトレーニングするための有望で強力なアプローチです。
両サイドローランク圧縮(FedDLR)を用いたフェデレーションラーニングと呼ばれる新しいトレーニング手法を提案する。
我々は,FedDLRがコミュニケーションと効率の両面で最先端のソリューションより優れていることを示す。
- 参考スコア（独自算出の注目度）: 8.353152693578151
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a promising and powerful approach for training
deep learning models without sharing the raw data of clients. During the
training process of FL, the central server and distributed clients need to
exchange a vast amount of model information periodically. To address the
challenge of communication-intensive training, we propose a new training
method, referred to as federated learning with dual-side low-rank compression
(FedDLR), where the deep learning model is compressed via low-rank
approximations at both the server and client sides. The proposed FedDLR not
only reduces the communication overhead during the training stage but also
directly generates a compact model to speed up the inference process. We shall
provide convergence analysis, investigate the influence of the key parameters,
and empirically show that FedDLR outperforms the state-of-the-art solutions in
terms of both the communication and computation efficiency.
- Abstract（参考訳）: federated learning(fl)は、クライアントの生データを共有することなくディープラーニングモデルをトレーニングするための有望で強力なアプローチである。
FLのトレーニングプロセスの間、中央サーバと分散クライアントは、定期的に大量のモデル情報を交換する必要があります。
コミュニケーション集約型学習の課題に対処するため,サーバ側とクライアント側の両方で,深層学習モデルを低階近似により圧縮するFedDLR(Federated Learning with dual-side Low-rank compression)と呼ばれる新たなトレーニング手法を提案する。
提案したFedDLRは,トレーニング期間中の通信オーバーヘッドを削減するだけでなく,推論プロセスを高速化するコンパクトモデルを直接生成する。
我々は、収束解析を行い、鍵パラメータの影響を調査し、FedDLRが通信と計算の効率の両面で最先端のソリューションより優れていることを実証的に示す。
関連論文リスト
- Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文 参考訳（メタデータ） (2024-01-25T14:49:15Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - SalientGrads: Sparse Models for Communication Efficient and Data Aware
Distributed Federated Training [1.0413504599164103]
フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。
FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。
本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
論文 参考訳（メタデータ） (2023-04-15T06:46:37Z) - FedCliP: Federated Learning with Client Pruning [3.796320380104124]
フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。
FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。
マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
論文 参考訳（メタデータ） (2023-01-17T09:15:37Z) - Conquering the Communication Constraints to Enable Large Pre-Trained Models in Federated Learning [18.12162136918301]
フェデレートラーニング(FL)は、ローカルデバイス上の生データに一元的にアクセスすることなく、モデルの協調的なトレーニングを可能にするための、有望なパラダイムとして登場した。
最近の最先端の事前訓練モデルでは、より能力が高くなっているが、パラメータも増えている。
FLにおけるこれらの強力で容易に利用できる事前学習モデルが、通信負荷を同時に軽減しつつ優れた性能を達成するためのソリューションを見つけることができるだろうか?
具体的には,FedPEFTの性能を,クライアントの安定性,データ分散,プライバシ設定の違いによって体系的に評価する。
論文 参考訳（メタデータ） (2022-10-04T16:08:54Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - On the Convergence Time of Federated Learning Over Wireless Networks
Under Imperfect CSI [28.782485580296374]
チャネル統計をバイアスとして,不完全なcsi下での収束時間を最小化するトレーニングプロセスを提案する。
また,学習過程に関わるクライアント数とモデル精度とのトレードオフを,異なる失明状態の関数として検討した。
論文 参考訳（メタデータ） (2021-04-01T08:30:45Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳（メタデータ） (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。