論文の概要: Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes
- arxiv url: http://arxiv.org/abs/2402.03770v1
- Date: Tue, 6 Feb 2024 07:25:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 16:08:58.845575
- Title: Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes
- Title(参考訳): Fed-CVLC: 可変長符号によるフェデレーション学習コミュニケーションの圧縮
- Authors: Xiaoxin Su, Yipeng Zhou, Laizhong Cui, John C.S. Lui and Jiangchuan
Liu
- Abstract要約: フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
- 参考スコア(独自算出の注目度): 54.18186259484828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Federated Learning (FL) paradigm, a parameter server (PS) concurrently
communicates with distributed participating clients for model collection,
update aggregation, and model distribution over multiple rounds, without
touching private data owned by individual clients. FL is appealing in
preserving data privacy; yet the communication between the PS and scattered
clients can be a severe bottleneck. Model compression algorithms, such as
quantization and sparsification, have been suggested but they generally assume
a fixed code length, which does not reflect the heterogeneity and variability
of model updates. In this paper, through both analysis and experiments, we show
strong evidences that variable-length is beneficial for compression in FL. We
accordingly present Fed-CVLC (Federated Learning Compression with
Variable-Length Codes), which fine-tunes the code length in response of the
dynamics of model updates. We develop optimal tuning strategy that minimizes
the loss function (equivalent to maximizing the model utility) subject to the
budget for communication. We further demonstrate that Fed-CVLC is indeed a
general compression design that bridges quantization and sparsification, with
greater flexibility. Extensive experiments have been conducted with public
datasets to demonstrate that Fed-CVLC remarkably outperforms state-of-the-art
baselines, improving model utility by 1.50%-5.44%, or shrinking communication
traffic by 16.67%-41.61%.
- Abstract(参考訳): フェデレーション学習(fl)パラダイムでは、パラメータサーバ(ps)が、個々のクライアントが所有するプライベートデータに触らずに、複数のラウンドにわたってモデル収集、更新集約、モデル分散のために、分散参加者クライアントと同時通信する。
FLはデータのプライバシを保存することに魅力がありますが、PSと散在するクライアント間の通信は深刻なボトルネックになります。
量子化やスパーシフィケーションのようなモデル圧縮アルゴリズムは提案されているが、一般に固定コード長を仮定しており、モデル更新の不均一性と可変性を反映していない。
本稿では,解析と実験の両方を通して,FLの圧縮に可変長が有用であることを示す。
そこで我々はFed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
通信予算を考慮した損失関数(モデルユーティリティの最大化に相当)を最小化する最適調整戦略を開発する。
さらに、Fed-CVLCは、量子化とスパーシフィケーションを橋渡しし、より柔軟な圧縮設計であることを示す。
Fed-CVLCは最先端のベースラインを著しく上回り、モデルの実用性は1.50%-5.44%向上し、通信トラフィックは16.67%-41.61%縮小した。
関連論文リスト
- Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - FedCliP: Federated Learning with Client Pruning [3.796320380104124]
フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。
FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。
マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
論文 参考訳(メタデータ) (2023-01-17T09:15:37Z) - Adaptive Control of Client Selection and Gradient Compression for
Efficient Federated Learning [28.185096784982544]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。
我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。
実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
論文 参考訳(メタデータ) (2022-12-19T14:19:07Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Optimizing the Communication-Accuracy Trade-off in Federated Learning
with Rate-Distortion Theory [1.5771347525430772]
連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。
本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。
量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
論文 参考訳(メタデータ) (2022-01-07T20:17:33Z) - Optimal Rate Adaption in Federated Learning with Compressed
Communications [28.16239232265479]
フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。
ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です
各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
論文 参考訳(メタデータ) (2021-12-13T14:26:15Z) - Slashing Communication Traffic in Federated Learning by Transmitting
Clustered Model Updates [12.660500431713336]
Federated Learning(FL)は、複数のクライアントが共同で学習モデルをトレーニングできる、新たな分散型学習フレームワークである。
クライアントとパラメータサーバ間のインターネットを介してモデル更新を交換することで、通信トラフィックが増大する可能性がある。
本研究では,ソフトウェアクラスタリング(MUCSC)によるモデル更新圧縮を考案し,クライアントとPS間で送信されるモデル更新を圧縮する。
論文 参考訳(メタデータ) (2021-05-10T07:15:49Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳(メタデータ) (2020-09-27T08:28:25Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳(メタデータ) (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。