論文の概要: Complement Sparsification: Low-Overhead Model Pruning for Federated
Learning
- arxiv url: http://arxiv.org/abs/2303.06237v1
- Date: Fri, 10 Mar 2023 23:07:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 20:14:10.663022
- Title: Complement Sparsification: Low-Overhead Model Pruning for Federated
Learning
- Title（参考訳）: complement sparsification: フェデレーション学習のための低オーバヘッドモデルpruning
- Authors: Xiaopeng Jiang, Cristian Borcea
- Abstract要約: フェデレートラーニング(Federated Learning, FL)は、プライバシに保護された分散ディープラーニングパラダイムであり、かなりのコミュニケーションと計算作業を伴う。
既存のモデルプルーニング/スパーシフィケーションソリューションは、サーバとクライアント間の双方向通信のオーバーヘッドが低いという要求を満たすことができません。
我々は,サーバとクライアントで行う補完的かつ協調的なプルーニングを通じて,これらの要求を満たすプルーニング機構であるComplement Sparsification (CS)を提案する。
- 参考スコア（独自算出の注目度）: 2.0428960719376166
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a privacy-preserving distributed deep learning
paradigm that involves substantial communication and computation effort, which
is a problem for resource-constrained mobile and IoT devices. Model
pruning/sparsification develops sparse models that could solve this problem,
but existing sparsification solutions cannot satisfy at the same time the
requirements for low bidirectional communication overhead between the server
and the clients, low computation overhead at the clients, and good model
accuracy, under the FL assumption that the server does not have access to raw
data to fine-tune the pruned models. We propose Complement Sparsification (CS),
a pruning mechanism that satisfies all these requirements through a
complementary and collaborative pruning done at the server and the clients. At
each round, CS creates a global sparse model that contains the weights that
capture the general data distribution of all clients, while the clients create
local sparse models with the weights pruned from the global model to capture
the local trends. For improved model performance, these two types of
complementary sparse models are aggregated into a dense model in each round,
which is subsequently pruned in an iterative process. CS requires little
computation overhead on the top of vanilla FL for both the server and the
clients. We demonstrate that CS is an approximation of vanilla FL and, thus,
its models perform well. We evaluate CS experimentally with two popular FL
benchmark datasets. CS achieves substantial reduction in bidirectional
communication, while achieving performance comparable with vanilla FL. In
addition, CS outperforms baseline pruning mechanisms for FL.
- Abstract（参考訳）: フェデレーション・ラーニング(federated learning, fl)は、プライバシーを保った分散ディープラーニングのパラダイムであり、実質的なコミュニケーションと計算の労力が伴う。
モデルプラニング/スパーシフィケーションは、この問題を解決できるスパースモデルを開発するが、既存のスパーシフィケーションソリューションは、サーバとクライアント間の双方向通信オーバーヘッドの低さ、クライアントでの計算オーバーヘッドの低さ、およびモデル精度の要求を同時に満たすことができない。
我々は,サーバとクライアントで行う補完的かつ協調的なプルーニングを通じて,これらの要求を満たすプルーニング機構であるComplement Sparsification (CS)を提案する。
各ラウンドにおいて、CSは全クライアントの一般的なデータ分布をキャプチャする重みを含むグローバルスパースモデルを作成し、一方、クライアントはグローバルモデルから重みを抽出してローカルトレンドをキャプチャするローカルスパースモデルを作成する。
モデル性能を向上させるために、これらの2種類の相補的なスパースモデルを各ラウンドで密集モデルに集約し、その後反復的プロセスで打ち出す。
CSはサーバとクライアントの両方でバニラFLの上部に計算オーバーヘッドをほとんど必要としない。
CSはバニラFLの近似であり,そのモデルが良好に動作することを示す。
2つの人気のあるFLベンチマークデータセットを用いてCSを実験的に評価した。
CSは、バニラFLに匹敵する性能を保ちながら、双方向通信の大幅な削減を実現している。
さらに、CSはFLのベースラインプルーニング機構より優れている。
関連論文リスト
- Efficient Model Compression for Hierarchical Federated Learning [10.37403547348343]
フェデレートラーニング(FL)は、分散ラーニングシステム内のプライバシを保護する能力のために、大きな注目を集めている。
本稿では,クラスタ化FLとモデル圧縮の利点を統合した新しい階層型FLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-27T12:17:47Z) - Towards Client Driven Federated Learning [7.528642177161784]
私たちは、クライアントを駆動する新しいFLフレームワークであるクライアント駆動フェデレートラーニング(CDFL:Client-Driven Federated Learning)を紹介します。
CDFLでは、各クライアントは、ローカルにトレーニングされたモデルをサーバにアップロードし、ローカルタスクに合わせてカスタマイズされたモデルを受け取ることで、独立して非同期にモデルを更新する。
論文 参考訳（メタデータ） (2024-05-24T10:17:49Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Enhancing One-Shot Federated Learning Through Data and Ensemble
Co-Boosting [76.64235084279292]
ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。
合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
論文 参考訳（メタデータ） (2024-02-23T03:15:10Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:25:21Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedCliP: Federated Learning with Client Pruning [3.796320380104124]
フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。
FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。
マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
論文 参考訳（メタデータ） (2023-01-17T09:15:37Z) - Latency Aware Semi-synchronous Client Selection and Model Aggregation
for Wireless Federated Learning [0.6882042556551609]
Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。
従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。
本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
論文 参考訳（メタデータ） (2022-10-19T05:59:22Z) - Federated Learning of Large Models at the Edge via Principal Sub-Model
Training [22.54297471651581]
Federated Learning (FL)は、クライアント間の協調的なトレーニングを可能にする、人気のある、有望な分散型学習フレームワークとして浮上している。
本研究では,PriSM(Principal Sub-model)トレーニング手法を開発し,サーバモデルに対する確率的低ランク近似である小さなサブモデルを各クライアントに割り当てる。
論文 参考訳（メタデータ） (2022-08-28T05:17:03Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。