論文の概要: LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning
- arxiv url: http://arxiv.org/abs/2401.11647v2
- Date: Tue, 30 Apr 2024 00:51:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 19:28:13.201853
- Title: LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning
- Title（参考訳）: LW-FedSSL:資源効率のよいレイヤーワイド・フェデレーション型自己教師型学習
- Authors: Ye Lin Tun, Chu Myaet Thwal, Le Quang Huy, Minh N. H. Nguyen, Choong Seon Hong,
- Abstract要約: 本稿では,エッジデバイスが一度にモデルの単一レイヤを段階的にトレーニングできる,レイヤワイドな自己教師付き学習手法を提案する。
我々の実験によると、LW-FedSSLはメモリ要件の3.3倍、通信コストの3.2倍である。
Prog-FedSSLと呼ばれるプログレッシブなトレーニング戦略についても検討しています。
- 参考スコア（独自算出の注目度）: 14.413037571286564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many studies integrate federated learning (FL) with self-supervised learning (SSL) to take advantage of raw training data distributed across edge devices. However, edge devices often struggle with high computation and communication costs imposed by SSL and FL algorithms. To tackle this hindrance, we propose LW-FedSSL, a layer-wise federated self-supervised learning approach that allows edge devices to incrementally train a single layer of the model at a time. Our LW-FedSSL comprises server-side calibration and representation alignment mechanisms to maintain comparable performance with end-to-end federated self-supervised learning (FedSSL) while significantly lowering clients' resource requirements. In a pure layer-wise training scheme, training one layer at a time may limit effective interaction between different layers of the model. The server-side calibration mechanism takes advantage of the resource-rich server in an FL environment to ensure smooth collaboration between different layers of the global model. During the local training process, the representation alignment mechanism encourages closeness between representations of FL local models and those of the global model, thereby preserving the layer cohesion established by server-side calibration. Our experiments show that LW-FedSSL has a $3.3 \times$ lower memory requirement and a $3.2 \times$ cheaper communication cost than its end-to-end counterpart. We also explore a progressive training strategy called Prog-FedSSL that outperforms end-to-end training with a similar memory requirement and a $1.8 \times$ cheaper communication cost.
- Abstract（参考訳）: 多くの研究は、エッジデバイスに分散した生データを活用するために、フェデレートラーニング(FL)と自己教師付きラーニング(SSL)を統合している。
しかし、エッジデバイスは、SSLとFLアルゴリズムによって課される高い計算と通信コストに悩まされることが多い。
この障害に対処するために、エッジデバイスが一度にモデルの単一レイヤをインクリメンタルにトレーニングできるレイヤワイドな自己教師付き学習アプローチであるLW-FedSSLを提案する。
我々のLW-FedSSLはサーバ側のキャリブレーションと表現アライメント機構を備えており、クライアントのリソース要求を大幅に低減しつつ、エンドツーエンドのフェデレーション付き自己教師付き学習(FedSSL)と同等のパフォーマンスを維持する。
純粋なレイヤワイドトレーニングスキームでは、一度に1つのレイヤをトレーニングすることで、モデルの異なるレイヤ間の効果的な相互作用を制限することができる。
サーバサイドのキャリブレーション機構は、FL環境におけるリソース豊富なサーバを活用し、グローバルモデルの異なるレイヤ間のスムーズな協調を保証する。
局所的な訓練過程において、表象アライメント機構は、FL局所モデルの表現とグローバルモデルの表現との密接性を促進し、サーバ側校正によって確立された層凝集を保ちます。
我々の実験によると、LW-FedSSLのメモリ要件は3.3ドル、通信コストは3.2ドルだった。
Prog-FedSSLと呼ばれるプログレッシブなトレーニング戦略についても検討しています。
関連論文リスト
- Federated Split Learning with Model Pruning and Gradient Quantization in Wireless Networks [7.439160287320074]
Federated split learning (FedSL)は、モデル分割によるエッジデバイスとサーバ間の協調トレーニングを実装している。
本稿では,リソース制約のあるエッジデバイスのトレーニング負担を軽減する軽量なFedSL方式を提案する。
提案手法の収束性能を定量化するために理論的解析を行う。
論文 参考訳（メタデータ） (2024-12-09T11:43:03Z) - R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。
SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。
これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。
無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文 参考訳（メタデータ） (2024-07-16T12:21:29Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Learner Referral for Cost-Effective Federated Learning Over Hierarchical
IoT Networks [21.76836812021954]
本稿では,連合選択(LRef-FedCS),通信資源,局所モデル精度(LMAO)手法を支援する。
提案したLRef-FedCSアプローチは,高いグローバル精度とコスト削減のバランスをとることができる。
論文 参考訳（メタデータ） (2023-07-19T13:33:43Z) - Efficient Parallel Split Learning over Resource-constrained Wireless
Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。
そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。
提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2023-03-26T16:09:48Z) - Hierarchical Personalized Federated Learning Over Massive Mobile Edge
Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。
HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文 参考訳（メタデータ） (2023-03-19T06:00:05Z) - Communication and Storage Efficient Federated Split Learning [19.369076939064904]
Federated Split LearningはFLの並列モデルトレーニング原則を保存する。
サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。
本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
論文 参考訳（メタデータ） (2023-02-11T04:44:29Z) - Unifying Synergies between Self-supervised Learning and Dynamic
Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。
SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。
密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文 参考訳（メタデータ） (2023-01-22T17:12:58Z) - Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated
Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。
ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文 参考訳（メタデータ） (2022-09-02T10:29:56Z) - SplitFed: When Federated Learning Meets Split Learning [16.212941272007285]
フェデレートラーニング(FL)とスプリットラーニング(SL)は2つの人気のある分散機械学習アプローチである。
本稿では,2つのアプローチを両立させるスプリットフッドラーニング(SFL)という新しいアプローチを提案する。
SFLは、SLと同等のテスト精度と通信効率を提供すると同時に、複数のクライアントに対するSLよりも、グローバルエポックあたりの計算時間を著しく削減する。
論文 参考訳（メタデータ） (2020-04-25T08:52:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。