論文の概要: Communication and Energy Efficient Slimmable Federated Learning via
Superposition Coding and Successive Decoding
- arxiv url: http://arxiv.org/abs/2112.03267v1
- Date: Sun, 5 Dec 2021 13:35:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-09 08:55:05.972369
- Title: Communication and Energy Efficient Slimmable Federated Learning via
Superposition Coding and Successive Decoding
- Title（参考訳）: 重畳符号化と逐次復号によるコミュニケーションとエネルギー効率の向上
- Authors: Hankyul Baek, Won Joon Yun, Soyi Jung, Jihong Park, Mingyue Ji,
Joongheon Kim, Mehdi Bennis
- Abstract要約: フェデレートラーニング(FL)は、生データの代わりにローカルにトレーニングされたモデルを交換することで、プライベートデータを利用する大きな可能性を持っている。
我々はSlimFLという新しいエネルギー・通信効率のFLフレームワークを提案する。
SlimFLは0.5$xモデルと1.0$xモデルの両方を適切な精度と収束速度で同時に訓練できることを示す。
- 参考スコア（独自算出の注目度）: 55.58665303852148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mobile devices are indispensable sources of big data. Federated learning (FL)
has a great potential in exploiting these private data by exchanging locally
trained models instead of their raw data. However, mobile devices are often
energy limited and wirelessly connected, and FL cannot cope flexibly with their
heterogeneous and time-varying energy capacity and communication throughput,
limiting the adoption. Motivated by these issues, we propose a novel energy and
communication efficient FL framework, coined SlimFL. To resolve the
heterogeneous energy capacity problem, each device in SlimFL runs a
width-adjustable slimmable neural network (SNN). To address the heterogeneous
communication throughput problem, each full-width (1.0x) SNN model and its
half-width ($0.5$x) model are superposition-coded before transmission, and
successively decoded after reception as the 0.5x or $1.0$x model depending on
the channel quality. Simulation results show that SlimFL can simultaneously
train both $0.5$x and $1.0$x models with reasonable accuracy and convergence
speed, compared to its vanilla FL counterpart separately training the two
models using $2$x more communication resources. Surprisingly, SlimFL achieves
even higher accuracy with lower energy footprints than vanilla FL for poor
channels and non-IID data distributions, under which vanilla FL converges
slowly.
- Abstract（参考訳）: モバイルデバイスはビッグデータの必要不可欠なソースです。
フェデレーション学習(fl)は、生のデータの代わりにローカルにトレーニングされたモデルを交換することで、これらのプライベートデータを活用する大きな可能性を秘めている。
しかし、モバイルデバイスはエネルギーに制限があり、無線で接続されることが多く、FLは不均一で時間的に変化するエネルギー容量と通信スループットに柔軟に対応できず、採用が制限される。
これらの課題に触発され、我々はSlimFLという新しいエネルギー・通信効率のFLフレームワークを提案する。
異種エネルギー容量問題を解決するため、slimflの各デバイスは幅調整可能なslimmable neural network (snn)を実行する。
不均質な通信スループット問題に対処するため、全幅(1.0x)snモデルとその半幅(0.5$x)モデルは伝送前に重畳符号化され、受信後にチャネル品質に応じて0.5xまたは1.0$xモデルとして順次復号される。
シミュレーションの結果、SlimFLは0.5$xモデルと1.0$xモデルの両方を妥当な精度と収束速度で同時に訓練できることがわかった。
驚くべきことに、slimflは貧弱なチャネルと非iidデータ分布に対してバニラflよりも低いエネルギーフットプリントでさらに高い精度を実現し、バニラflはゆっくりと収束する。
関連論文リスト
- Revisiting Ensembling in One-Shot Federated Learning [9.02411690527967]
ワンショットフェデレーション学習(OFL)は、クライアントとサーバ間のモデルの反復的な交換を1ラウンドの通信で交換する。
FLの精度とOFLの通信効率を両立させる新しい連合型アンサンブル方式であるFENSを導入する。
FENSは最先端(SOTA) OFLよりも26.9%高い精度で、FLよりもわずか3.1%低い。
論文 参考訳（メタデータ） (2024-11-11T17:58:28Z) - Joint Energy and Latency Optimization in Federated Learning over Cell-Free Massive MIMO Networks [36.6868658064971]
Federated Learning(FL)は、ユーザが生のデータセットではなくサーバとFLモデルを交換する分散学習パラダイムである。
セルフリーの大規模マルチインプット多重出力(CFmMIMO)はFLを実装する上で有望なアーキテクチャである。
本稿では、各ユーザの電力が他のユーザのエネルギーとレイテンシに与える影響を考慮し、FLにおけるCFmMIMO上のアップリンク電力割り当て方式を提案する。
論文 参考訳（メタデータ） (2024-04-28T19:24:58Z) - Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning [25.47111107054497]
Split Federated Learning (SFL)は、AIoTシステムで有望である。
SFLは低い推測精度と低い効率の課題に悩まされている。
本稿では,Sliding Split Federated Learning (S$2$FL) という新しいSFL手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T05:09:50Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳（メタデータ） (2023-05-15T22:04:49Z) - Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。
既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。
DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
論文 参考訳（メタデータ） (2023-02-08T14:37:34Z) - SlimFL: Federated Learning with Superposition Coding over Slimmable
Neural Networks [56.68149211499535]
フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。
本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2022-03-26T15:06:13Z) - Joint Superposition Coding and Training for Federated Learning over
Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。
FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2021-12-05T11:17:17Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。