Fugu-MT 論文翻訳(概要): ResFed: Communication Efficient Federated Learning by Transmitting Deep Compressed Residuals

論文の概要: ResFed: Communication Efficient Federated Learning by Transmitting Deep Compressed Residuals

arxiv url: http://arxiv.org/abs/2212.05602v1
Date: Sun, 11 Dec 2022 20:34:52 GMT
ステータス: 処理完了
システム内更新日: 2022-12-13 15:27:45.769086
Title: ResFed: Communication Efficient Federated Learning by Transmitting Deep Compressed Residuals
Title（参考訳）: resfed: 深い圧縮残差の伝達による効果的な連合学習
Authors: Rui Song, Liguo Zhou, Lingjuan Lyu, Andreas Festag, Alois Knoll
Abstract要約: フェデレートラーニングは、学習したローカルモデルパラメータを共有することで、大規模分散クライアント間の協調トレーニングを可能にする。モデルパラメータではなく残差を訓練用ネットワークに送信する残差ベースフェデレーション学習フレームワーク(ResFed)を導入する。共通予測ルールを用いることで、ローカルモデルとグローバルモデルの両方が、常にクライアントとサーバで完全に回復可能である。
参考スコア（独自算出の注目度）: 24.13593410107805
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning enables cooperative training among massively distributed clients by sharing their learned local model parameters. However, with increasing model size, deploying federated learning requires a large communication bandwidth, which limits its deployment in wireless networks. To address this bottleneck, we introduce a residual-based federated learning framework (ResFed), where residuals rather than model parameters are transmitted in communication networks for training. In particular, we integrate two pairs of shared predictors for the model prediction in both server-to-client and client-to-server communication. By employing a common prediction rule, both locally and globally updated models are always fully recoverable in clients and the server. We highlight that the residuals only indicate the quasi-update of a model in a single inter-round, and hence contain more dense information and have a lower entropy than the model, comparing to model weights and gradients. Based on this property, we further conduct lossy compression of the residuals by sparsification and quantization and encode them for efficient communication. The experimental evaluation shows that our ResFed needs remarkably less communication costs and achieves better accuracy by leveraging less sensitive residuals, compared to standard federated learning. For instance, to train a 4.08 MB CNN model on CIFAR-10 with 10 clients under non-independent and identically distributed (Non-IID) setting, our approach achieves a compression ratio over 700X in each communication round with minimum impact on the accuracy. To reach an accuracy of 70%, it saves around 99% of the total communication volume from 587.61 Mb to 6.79 Mb in up-streaming and to 4.61 Mb in down-streaming on average for all clients.
Abstract（参考訳）: フェデレートラーニングは、学習したローカルモデルパラメータを共有することで、大規模分散クライアント間の協調トレーニングを可能にする。しかし、モデルサイズの増加に伴い、連合学習の展開には大きな通信帯域が必要となり、無線ネットワークへの展開が制限される。このボトルネックに対処するために,モデルパラメータではなく残差をトレーニング用通信ネットワークに送信する残差ベースフェデレーション学習フレームワーク(resfed)を導入する。特に、サーバ間通信とクライアント間通信の両方において、モデル予測のための2組の共有予測器を統合する。共通予測ルールを用いることで、ローカルモデルとグローバルモデルの両方が常にクライアントとサーバで完全に回復可能である。我々は、残差は1つのラウンド間におけるモデルの準更新のみを示し、それゆえ、より密な情報を含み、モデルよりもエントロピーが低いことを強調する。この特性に基づいて、スペーシフィケーションと量子化による残余の損失圧縮を行い、効率的な通信のために符号化する。実験の結果,resfedでは通信コストが著しく削減され,標準連関学習に比べて感度の低い残差を活用することで精度が向上した。例えば、CIFAR-10上で10クライアントで4.08MBのCNNモデルを非独立で同一に分散した(Non-IID)設定でトレーニングするには、各通信ラウンドにおける700倍以上の圧縮比を精度に最小限の影響で達成する。 70%の精度に達するためには、全通信量の99%をアップストリームで587.61 Mbから6.79 Mbに、ダウンストリームで平均4.61 Mbに節約する。

関連論文リスト

Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth [6.300376113680886]
フェデレーション学習は、ローカルデータをサーバに直接提供せずにモデルをトレーニングすることができる。近年の研究者は、主にモデル圧縮により、連合学習のコミュニケーション効率を達成している。本稿では,AdapComFLアルゴリズムの性能を示し,既存のアルゴリズムと比較する。
論文参考訳（メタデータ） (2024-05-06T08:00:43Z)
Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文参考訳（メタデータ） (2024-02-06T07:25:21Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training [1.0413504599164103]
フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。 FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
論文参考訳（メタデータ） (2023-04-15T06:46:37Z)
FedCliP: Federated Learning with Client Pruning [3.796320380104124]
フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
論文参考訳（メタデータ） (2023-01-17T09:15:37Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
FedGCN: Convergence-Communication Tradeoffs in Federated Training of Graph Convolutional Networks [14.824579000821272]
我々はフェデレートグラフ畳み込みネットワーク(FedGCN)アルゴリズムを導入し、フェデレーション学習を用いてGCNモデルを訓練し、半教師付きノード分類を行う。各トレーニングラウンドでクライアント間の余分な通信を必要とする従来の方法と比較して、FedGCNクライアントはトレーニング前の1ステップで中央サーバとのみ通信する。実験の結果,FedGCNアルゴリズムは平均収束率51.7%,通信速度100倍の精度でモデル精度が向上した。
論文参考訳（メタデータ） (2022-01-28T21:39:16Z)
Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文参考訳（メタデータ） (2021-09-17T04:48:42Z)
FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2021-08-30T15:39:54Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)
Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文参考訳（メタデータ） (2020-10-18T01:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。