論文の概要: LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2401.11647v4
• Date: Wed, 26 Feb 2025 05:20:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:54:21.341605
• Title: LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning
• Title（参考訳）: LW-FedSSL:資源効率のよいレイヤーワイド・フェデレーション型自己教師型学習
• Authors: Ye Lin Tun, Chu Myaet Thwal, Huy Q. Le, Minh N. H. Nguyen, Choong Seon Hong,
• Abstract要約: 本稿では、エッジデバイスがモデルの一部を段階的にトレーニングできるLayer-Wise Federated Self-Supervised Learningアプローチを提案する。 LW-FedSSLは、モデルの一部だけが任意のタイミングでトレーニングに有効であるため、計算要求を大幅に削減する。 最大でメモリ使用量の3.34ドルの削減、GFLOPの4.20ドルの削減、通信コストの5.07ドルの削減を実現している。
• 参考スコア（独自算出の注目度）: 14.937324556028548
• License:
• Abstract: Many studies integrate federated learning (FL) with self-supervised learning (SSL) to take advantage of raw data distributed across edge devices. However, edge devices often struggle with high computational and communication costs imposed by SSL and FL algorithms. With the deployment of more complex and large-scale models, such as Transformers, these challenges are exacerbated. To tackle this, we propose the Layer-Wise Federated Self-Supervised Learning (LW-FedSSL) approach, which allows edge devices to incrementally train a small part of the model at a time. Specifically, in LW-FedSSL, training is decomposed into multiple stages, with each stage responsible for only a specific layer (or a block of layers) of the model. Since only a portion of the model is active for training at any given time, LW-FedSSL significantly reduces computational requirements. Additionally, only the active model portion needs to be exchanged between the FL server and clients, reducing the communication overhead. This enables LW-FedSSL to jointly address both computational and communication challenges in FL. Depending on the SSL algorithm used, it can achieve up to a $3.34 \times$ reduction in memory usage, $4.20 \times$ fewer computational operations (GFLOPs), and a $5.07 \times$ lower communication cost while maintaining performance comparable to its end-to-end training counterpart. Furthermore, we explore a progressive training strategy called Prog-FedSSL, which offers a $1.84\times$ reduction in GFLOPs and a $1.67\times$ reduction in communication costs while maintaining the same memory requirements as end-to-end training. While the resource efficiency of Prog-FedSSL is lower than that of LW-FedSSL, its performance improvements make it a viable candidate for FL environments with more lenient resource constraints.
• Abstract（参考訳）: 多くの研究は、エッジデバイスに分散した生データを活用するために、フェデレートラーニング(FL)と自己教師付きラーニング(SSL)を統合している。 しかし、エッジデバイスは、SSLとFLアルゴリズムによって課される高い計算と通信コストに悩まされることが多い。 Transformersのような、より複雑で大規模なモデルのデプロイによって、これらの課題はさらに悪化している。 これを解決するために、エッジデバイスがモデルの小さな部分を段階的にトレーニングできるLayer-Wise Federated Self-Supervised Learning (LW-FedSSL)アプローチを提案する。 具体的には、LW-FedSSLでは、トレーニングを複数のステージに分割し、各ステージはモデルの特定のレイヤ(またはレイヤのブロック)のみに責任を負う。 LW-FedSSLは、モデルの一部だけが任意のタイミングでトレーニングに有効であるため、計算要求を大幅に削減する。 さらに、アクティブなモデル部分のみをFLサーバとクライアント間で交換する必要があるため、通信オーバーヘッドが減少します。 これにより、LW-FedSSLはFLにおける計算と通信の両方の課題に共同で対処できる。 SSLアルゴリズムによって、最大でメモリ使用量の削減が34ドル、GFLOPが4.20ドル、通信コストが5.07ドルとなり、エンドツーエンドのトレーニングに匹敵するパフォーマンスを維持している。 さらに、GFLOPの1.84\times$と通信コストの1.67\times$を削減し、エンドツーエンドトレーニングと同じメモリ要件を維持しながら、プログレッシブトレーニング戦略であるProg-FedSSLについて検討する。 Prog-FedSSLのリソース効率はLW-FedSSLよりも低いが、その性能改善により、より寛大なリソース制約を持つFL環境の候補となる。

関連論文リスト

• Federated Split Learning with Model Pruning and Gradient Quantization in Wireless Networks [7.439160287320074]
  Federated split learning (FedSL)は、モデル分割によるエッジデバイスとサーバ間の協調トレーニングを実装している。 本稿では,リソース制約のあるエッジデバイスのトレーニング負担を軽減する軽量なFedSL方式を提案する。 提案手法の収束性能を定量化するために理論的解析を行う。
  論文  参考訳（メタデータ） (2024-12-09T11:43:03Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Learner Referral for Cost-Effective Federated Learning Over Hierarchical IoT Networks [21.76836812021954]
  本稿では,連合選択(LRef-FedCS),通信資源,局所モデル精度(LMAO)手法を支援する。 提案したLRef-FedCSアプローチは,高いグローバル精度とコスト削減のバランスをとることができる。
  論文  参考訳（メタデータ） (2023-07-19T13:33:43Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Communication and Storage Efficient Federated Split Learning [19.369076939064904]
  Federated Split LearningはFLの並列モデルトレーニング原則を保存する。 サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。 本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-11T04:44:29Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• SplitFed: When Federated Learning Meets Split Learning [16.212941272007285]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は2つの人気のある分散機械学習アプローチである。 本稿では,2つのアプローチを両立させるスプリットフッドラーニング(SFL)という新しいアプローチを提案する。 SFLは、SLと同等のテスト精度と通信効率を提供すると同時に、複数のクライアントに対するSLよりも、グローバルエポックあたりの計算時間を著しく削減する。
  論文  参考訳（メタデータ） (2020-04-25T08:52:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。