論文の概要: FedCode: Communication-Efficient Federated Learning via Transferring
Codebooks
- arxiv url: http://arxiv.org/abs/2311.09270v1
- Date: Wed, 15 Nov 2023 12:06:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 18:05:27.987686
- Title: FedCode: Communication-Efficient Federated Learning via Transferring
Codebooks
- Title（参考訳）: fedcode: コードブックの転送によるコミュニケーション効率のよいフェデレーション学習
- Authors: Saeed Khalilian, Vasileios Tsouvalas, Tanir Ozcelebi, Nirvana Meratnia
- Abstract要約: Federated Learning(FL)は、分散機械学習パラダイムで、分散ローカルデータからモデルを学ぶことができる。
既存のアプローチは、これに対処するためにプルーニングや重みクラスタリングのようなモデル圧縮技術に依存している。
我々は、クライアントがコードブックのみを送信するFedCodeを提案する。
- 参考スコア（独自算出の注目度）: 3.004066195320147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a distributed machine learning paradigm that
enables learning models from decentralized local data. While FL offers
appealing properties for clients' data privacy, it imposes high communication
burdens for exchanging model weights between a server and the clients. Existing
approaches rely on model compression techniques, such as pruning and weight
clustering to tackle this. However, transmitting the entire set of weight
updates at each federated round, even in a compressed format, limits the
potential for a substantial reduction in communication volume. We propose
FedCode where clients transmit only codebooks, i.e., the cluster centers of
updated model weight values. To ensure a smooth learning curve and proper
calibration of clusters between the server and the clients, FedCode
periodically transfers model weights after multiple rounds of solely
communicating codebooks. This results in a significant reduction in
communication volume between clients and the server in both directions, without
imposing significant computational overhead on the clients or leading to major
performance degradation of the models. We evaluate the effectiveness of FedCode
using various publicly available datasets with ResNet-20 and MobileNet backbone
model architectures. Our evaluations demonstrate a 12.2-fold data transmission
reduction on average while maintaining a comparable model performance with an
average accuracy loss of 1.3% compared to FedAvg. Further validation of FedCode
performance under non-IID data distributions showcased an average accuracy loss
of 2.0% compared to FedAvg while achieving approximately a 12.7-fold data
transmission reduction.
- Abstract（参考訳）: Federated Learning(FL)は、分散機械学習パラダイムで、分散ローカルデータからモデルを学ぶことができる。
FLはクライアントのデータプライバシに魅力的な特性を提供するが、サーバとクライアント間のモデル重み交換には高い通信負担がかかる。
既存のアプローチでは、pruningやweight clusteringなどのモデル圧縮技術に依存している。
しかし、圧縮されたフォーマットであっても、各フェデレーションラウンドの重みの更新セット全体を送信することは、通信量を大幅に削減する可能性を制限する。
本研究では,更新されたモデル重み値のクラスタ中心であるコードブックのみをクライアントが送信するfeedcodeを提案する。
サーバとクライアント間のクラスタの円滑な学習曲線と適切なキャリブレーションを確保するため、feedcodeは、コードブックのみの複数ラウンドの後に定期的にモデル重みを転送する。
これにより、クライアントとサーバ間の双方向の通信量が大幅に減少し、クライアントにかなりの計算オーバーヘッドを課すことなく、モデルの性能が大幅に低下する。
ResNet-20とMobileNetのバックボーンモデルアーキテクチャを用いた各種公開データセットを用いてFedCodeの有効性を評価する。
評価の結果,FedAvgと比較して平均精度が1.3%のモデル性能を維持しつつ,平均12.2倍のデータ伝送量の削減を図った。
非IIDデータ分散下でのFedCodeの性能のさらなる検証では、FedAvgと比較して平均精度が2.0%低下し、約12.7倍のデータ伝送削減を達成した。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Stochastic Approximation Approach to Federated Machine Learning [0.0]
本稿では、近似(SA)フレームワークにおけるフェデレートラーニング(FL)について検討する。
FLは、さまざまな参加者やクライアント間でニューラルネットワークモデルをトレーニングする、協調的な方法である。
提案アルゴリズムは頑健であり,より信頼性の高い重み推定を行う。
論文 参考訳（メタデータ） (2024-02-20T12:00:25Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:25:21Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Complement Sparsification: Low-Overhead Model Pruning for Federated
Learning [2.0428960719376166]
フェデレートラーニング(Federated Learning, FL)は、プライバシに保護された分散ディープラーニングパラダイムであり、かなりのコミュニケーションと計算作業を伴う。
既存のモデルプルーニング/スパーシフィケーションソリューションは、サーバとクライアント間の双方向通信のオーバーヘッドが低いという要求を満たすことができません。
我々は,サーバとクライアントで行う補完的かつ協調的なプルーニングを通じて,これらの要求を満たすプルーニング機構であるComplement Sparsification (CS)を提案する。
論文 参考訳（メタデータ） (2023-03-10T23:07:02Z) - FedCliP: Federated Learning with Client Pruning [3.796320380104124]
フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。
FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。
マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
論文 参考訳（メタデータ） (2023-01-17T09:15:37Z) - ResFed: Communication Efficient Federated Learning by Transmitting Deep
Compressed Residuals [24.13593410107805]
フェデレートラーニングは、学習したローカルモデルパラメータを共有することで、大規模分散クライアント間の協調トレーニングを可能にする。
モデルパラメータではなく残差を訓練用ネットワークに送信する残差ベースフェデレーション学習フレームワーク(ResFed)を導入する。
共通予測ルールを用いることで、ローカルモデルとグローバルモデルの両方が、常にクライアントとサーバで完全に回復可能である。
論文 参考訳（メタデータ） (2022-12-11T20:34:52Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z) - Distilled One-Shot Federated Learning [13.294757670979031]
そこで本稿では, DOSFL (Distilled One-Shot Federated Learning) を提案する。
たった1ラウンドで、各クライアントはプライベートデータセットを蒸留し、合成データ(画像や文など)をサーバに送る。
この軽量で勾配のない設計では、DOSFLの通信コストはFedAvgよりも最大で3桁少ない。
論文 参考訳（メタデータ） (2020-09-17T01:14:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。