論文の概要: LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2401.11647v1
• Date: Mon, 22 Jan 2024 01:57:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 15:35:39.257336
• Title: LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning
• Title（参考訳）: LW-FedSSL:資源効率のよい階層型自己教師型学習
• Authors: Ye Lin Tun, Chu Myaet Thwal, Le Quang Huy, Minh N. H. Nguyen, Choong Seon Hong
• Abstract要約: 本稿では、エッジデバイスが一度にモデルの1つの層を漸進的に訓練することを可能にする、レイヤワイズ・フェデレーションによる自己教師付き学習手法を提案する。 LW-FedSSLは、メモリ要件の3.3倍、通信コストの3.2倍であることを示す。 Prog-FedSSLと呼ばれるプログレッシブなトレーニング戦略についても検討しています。
• 参考スコア（独自算出の注目度）: 15.462969044840868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many recent studies integrate federated learning (FL) with self-supervised learning (SSL) to take advantage of raw training data distributed across edge devices. However, edge devices often struggle with high computation and communication costs imposed by SSL and FL algorithms. To tackle this hindrance, we propose LW-FedSSL, a layer-wise federated self-supervised learning approach that allows edge devices to incrementally train one layer of the model at a time. LW-FedSSL comprises server-side calibration and representation alignment mechanisms to maintain comparable performance with end-to-end FedSSL while significantly lowering clients' resource requirements. The server-side calibration mechanism takes advantage of the resource-rich server in an FL environment to assist in global model training. Meanwhile, the representation alignment mechanism encourages closeness between representations of FL local models and those of the global model. Our experiments show that LW-FedSSL has a $3.3 \times$ lower memory requirement and a $3.2 \times$ cheaper communication cost than its end-to-end counterpart. We also explore a progressive training strategy called Prog-FedSSL that outperforms end-to-end training with a similar memory requirement and a $1.8 \times$ cheaper communication cost.
• Abstract（参考訳）: 最近の多くの研究は、エッジデバイスに分散した生のトレーニングデータを活用するために、連合学習(fl)と自己教師付き学習(ssl)を統合する。 しかし、エッジデバイスはSSLとFLアルゴリズムによって課される高い計算と通信コストに悩まされることが多い。 この障害に対処するために、エッジデバイスが一度にモデルの1つの層を漸進的にトレーニングできるレイヤワイドな自己教師付き学習アプローチであるLW-FedSSLを提案する。 LW-FedSSLはサーバ側のキャリブレーションと表現アライメント機構を備えており、クライアントのリソース要求を大幅に低減しつつ、エンドツーエンドのFedSSLと同等のパフォーマンスを維持する。 サーバサイドキャリブレーション機構は、FL環境におけるリソース豊富なサーバを利用して、グローバルモデルトレーニングを支援する。 一方、表現アライメント機構は、FL局所モデルの表現とグローバルモデルの表現との密接性を促進する。 我々の実験によると、LW-FedSSLのメモリ要件は3.3ドル、通信コストは3.2ドルだった。 また、prog-fedsslと呼ばれるプログレッシブトレーニング戦略も検討し、同様のメモリ要件と18セントの通信コストでエンドツーエンドトレーニングを上回っています。

関連論文リスト

• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Learner Referral for Cost-Effective Federated Learning Over Hierarchical IoT Networks [21.76836812021954]
  本稿では,連合選択(LRef-FedCS),通信資源,局所モデル精度(LMAO)手法を支援する。 提案したLRef-FedCSアプローチは,高いグローバル精度とコスト削減のバランスをとることができる。
  論文  参考訳（メタデータ） (2023-07-19T13:33:43Z)
• When Computing Power Network Meets Distributed Machine Learning: An Efficient Federated Split Learning Framework [6.871107511111629]
  CPN-FedSLはComputer Power Network (CPN)上のFederated Split Learning (FedSL)フレームワークである。 私たちは、基本的な設定と学習特性(例えば、レイテンシ、フロー、収束)をキャプチャする専用のモデルを構築します。
  論文  参考訳（メタデータ） (2023-05-22T12:36:52Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Communication and Storage Efficient Federated Split Learning [19.369076939064904]
  Federated Split LearningはFLの並列モデルトレーニング原則を保存する。 サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。 本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-11T04:44:29Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• SplitFed: When Federated Learning Meets Split Learning [16.212941272007285]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は2つの人気のある分散機械学習アプローチである。 本稿では,2つのアプローチを両立させるスプリットフッドラーニング(SFL)という新しいアプローチを提案する。 SFLは、SLと同等のテスト精度と通信効率を提供すると同時に、複数のクライアントに対するSLよりも、グローバルエポックあたりの計算時間を著しく削減する。
  論文  参考訳（メタデータ） (2020-04-25T08:52:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。