論文の概要: Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks

• arxiv url: http://arxiv.org/abs/2112.02543v1
• Date: Sun, 5 Dec 2021 11:17:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 13:11:09.550034
• Title: Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks
• Title（参考訳）: 多層ニューラルネットワークを用いたフェデレーション学習のための重畳符号化と訓練
• Authors: Hankyul Baek, Won Joon Yun, Yunseok Kwak, Soyi Jung, Mingyue Ji, Mehdi Bennis, Jihong Park, Joongheon Kim
• Abstract要約: 本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
• 参考スコア（独自算出の注目度）: 52.93232352968347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper aims to integrate two synergetic technologies, federated learning (FL) and width-adjustable slimmable neural network (SNN) architectures. FL preserves data privacy by exchanging the locally trained models of mobile devices. By adopting SNNs as local models, FL can flexibly cope with the time-varying energy capacities of mobile devices. Combining FL and SNNs is however non-trivial, particularly under wireless connections with time-varying channel conditions. Furthermore, existing multi-width SNN training algorithms are sensitive to the data distributions across devices, so are ill-suited to FL. Motivated by this, we propose a communication and energy-efficient SNN-based FL (named SlimFL) that jointly utilizes superposition coding (SC) for global model aggregation and superposition training (ST) for updating local models. By applying SC, SlimFL exchanges the superposition of multiple width configurations that are decoded as many as possible for a given communication throughput. Leveraging ST, SlimFL aligns the forward propagation of different width configurations, while avoiding the inter-width interference during backpropagation. We formally prove the convergence of SlimFL. The result reveals that SlimFL is not only communication-efficient but also can counteract non-IID data distributions and poor channel conditions, which is also corroborated by simulations.
• Abstract（参考訳）: 本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)アーキテクチャを統合することを目的とする。 flは、ローカルにトレーニングされたモバイルデバイスのモデルを交換することで、データのプライバシを保持する。 ローカルモデルとしてSNNを採用することで、FLはモバイルデバイスの時間変化エネルギー容量に柔軟に対応できる。 しかし、flとsnsの組み合わせは、特に無線接続と時変チャネル条件下では、非自明である。 さらに、既存のマルチ幅SNNトレーニングアルゴリズムはデバイス間のデータ分散に敏感であるため、FLには適さない。 そこで我々は,グローバルモデルアグリゲーションと重ね合わせトレーニング(ST)に重ね合わせ符号化(SC)を併用して局所モデルの更新を行う通信・エネルギー効率の高いSNNベースFL(SlimFL)を提案する。 scを適用することで、slimflは所定の通信スループットのために可能な限りデコードされる複数の幅構成の重ね合わせを交換する。 STを活用して、SlimFLは異なる幅構成の前方伝播を調整し、バックプロパゲーション時の幅間の干渉を回避する。 我々はSlimFLの収束を正式に証明する。 その結果,SlimFLは通信効率だけでなく,非IIDデータ分布やチャネル条件の悪さにも対処できることがわかった。

関連論文リスト

• Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
  本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。 この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
  論文  参考訳（メタデータ） (2024-08-26T17:03:14Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• FLCC: Efficient Distributed Federated Learning on IoMT over CSMA/CA [0.0]
  フェデレートラーニング(FL)は、プライバシー保護のための有望なアプローチとして登場した。 本稿では,アドホックネットワーク上で遠隔医療システムを改善するアプリケーションにおけるFLの性能について検討する。 ネットワーク性能を評価するための指標として,1) 干渉を最小限に抑えながら伝送を成功させる確率,2) 精度と損失の点で分散FLモデルの性能を示す。
  論文  参考訳（メタデータ） (2023-03-29T16:36:42Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Digital Over-the-Air Federated Learning in Multi-Antenna Systems [30.137208705209627]
  デジタル変調とオーバー・ザ・エア計算(AirComp)を用いた現実的な無線通信システム上でのフェデレーション学習(FL)の性能最適化について検討する。 本稿では,デジタル変調とAirCompを組み合わせたFedAvg(FedAvg)アルゴリズムを提案する。 人工ニューラルネットワーク(ANN)は、すべてのデバイスの局所FLモデルを推定し、将来のモデル伝送のためにPSのビーム形成行列を調整するために使用される。
  論文  参考訳（メタデータ） (2023-02-04T07:26:06Z)
• CFLIT: Coexisting Federated Learning and Information Transfer [18.30671838758503]
  本研究では,モバイルエッジネットワークにおける無線放送と従来型情報伝達(IT)の共存性について検討する。 FLとITデバイスがOFDMシステムで無線スペクトルを共有するCFLIT(Commanded Learning and Information Transfer)通信フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-26T13:17:28Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Communication and Energy Efficient Slimmable Federated Learning via Superposition Coding and Successive Decoding [55.58665303852148]
  フェデレートラーニング(FL)は、生データの代わりにローカルにトレーニングされたモデルを交換することで、プライベートデータを利用する大きな可能性を持っている。 我々はSlimFLという新しいエネルギー・通信効率のFLフレームワークを提案する。 SlimFLは0.5$xモデルと1.0$xモデルの両方を適切な精度と収束速度で同時に訓練できることを示す。
  論文  参考訳（メタデータ） (2021-12-05T13:35:26Z)
• Communication-Efficient Federated Learning with Binary Neural Networks [15.614120327271557]
  フェデレート・ラーニング(Federated Learning, FL)は、プライバシ保護のための機械学習環境である。 FLは、トレーニングをコーディネートするすべてのクライアントとサーバ間のパラメータの頻繁な交換を伴う。 本稿では,通常の実数値ニューラルネットワークの代わりに,FL設定におけるバイナリニューラルネットワーク(BNN)のトレーニングを検討する。
  論文  参考訳（メタデータ） (2021-10-05T15:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。