論文の概要: SHeRL-FL: When Representation Learning Meets Split Learning in Hierarchical Federated Learning

• arxiv url: http://arxiv.org/abs/2508.08339v1
• Date: Mon, 11 Aug 2025 04:13:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.184342
• Title: SHeRL-FL: When Representation Learning Meets Split Learning in Hierarchical Federated Learning
• Title（参考訳）: SHeRL-FL:階層的フェデレーション学習における表現学習と分割学習
• Authors: Dung T. Tran, Nguyen B. Ha, Van-Dinh Nguyen, Kok-Seng Wong,
• Abstract要約: Federated Learning(FL)は、大規模ネットワークにおけるスケーラビリティとレイテンシの問題に対処するための、有望なアプローチである。 これまでの作業では、分割学習(SL)と階層FL(HierFL)を組み合わせてデバイス側の計算を削減しているが、これは階層間の調整によるトレーニングの複雑さをもたらす。 SLと階層モデルアグリゲーションを統合し,中間層での表現学習を取り入れたSHeRL-FLを提案する。
• 参考スコア（独自算出の注目度）: 5.447833971100033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a promising approach for addressing scalability and latency issues in large-scale networks by enabling collaborative model training without requiring the sharing of raw data. However, existing FL frameworks often overlook the computational heterogeneity of edge clients and the growing training burden on resource-limited devices. However, FL suffers from high communication costs and complex model aggregation, especially with large models. Previous works combine split learning (SL) and hierarchical FL (HierFL) to reduce device-side computation and improve scalability, but this introduces training complexity due to coordination across tiers. To address these issues, we propose SHeRL-FL, which integrates SL and hierarchical model aggregation and incorporates representation learning at intermediate layers. By allowing clients and edge servers to compute training objectives independently of the cloud, SHeRL-FL significantly reduces both coordination complexity and communication overhead. To evaluate the effectiveness and efficiency of SHeRL-FL, we performed experiments on image classification tasks using CIFAR-10, CIFAR-100, and HAM10000 with AlexNet, ResNet-18, and ResNet-50 in both IID and non-IID settings. In addition, we evaluate performance on image segmentation tasks using the ISIC-2018 dataset with a ResNet-50-based U-Net. Experimental results demonstrate that SHeRL-FL reduces data transmission by over 90\% compared to centralized FL and HierFL, and by 50\% compared to SplitFed, which is a hybrid of FL and SL, and further improves hierarchical split learning methods.
• Abstract（参考訳）: Federated Learning(FL)は、生データの共有を必要とせず、協調的なモデルトレーニングを可能にすることによって、大規模ネットワークにおけるスケーラビリティとレイテンシの問題に対処する、有望なアプローチである。 しかし、既存のFLフレームワークは、エッジクライアントの計算的不均一性と、リソース制限されたデバイスでのトレーニング負担の増加をしばしば見落としている。 しかし、FLは通信コストが高く、特に大規模モデルでは複雑なモデル集約に悩まされる。 これまでの作業では、分割学習(SL)と階層FL(HierFL)を組み合わせて、デバイス側の計算を削減し、スケーラビリティを向上させるが、これは階層間の調整によるトレーニングの複雑さをもたらす。 これらの問題に対処するため,SLと階層モデルアグリゲーションを統合し,中間層での表現学習を取り入れたSHeRL-FLを提案する。 クライアントとエッジサーバがクラウドから独立してトレーニング目標を計算できるようにすることで、SHeRL-FLはコーディネーションの複雑さと通信オーバーヘッドを著しく低減します。 CIFAR-10, CIFAR-100, HAM10000, AlexNet, ResNet-18, ResNet-50 を用いた画像分類タスクを, IID と非IID の両方で評価した。 さらに,ISIC-2018データセットとResNet-50ベースのU-Netを用いた画像分割タスクの性能評価を行った。 実験の結果,SHeRL-FLは集中型FLやHierFLに比べてデータ伝送を90%以上削減し,FLとSLのハイブリッドであるSplitFedに比べて50%以上削減し,階層型分割学習法をさらに改善することが示された。

関連論文リスト

• Federated Learning over Hierarchical Wireless Networks: Training Latency Minimization via Submodel Partitioning [15.311309249848739]
  階層型独立サブモデルトレーニング(Hierarchical independent submodel training、HIST)は、階層型クラウド-エッジ-クライアントネットワークにおけるこれらの問題に対処することを目的とした新しいFL方法論である。 本研究では,HISTを空気上計算(AirComp)で拡張することにより,エッジセル上でのモデルアグリゲーションの効率をより高めることができることを示す。
  論文  参考訳（メタデータ） (2023-10-27T04:42:59Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
  フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。 深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。 NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-08-15T13:29:14Z)
• Federated Split Learning with Only Positive Labels for resource-constrained IoT environment [4.055662817794178]
  分散コラボレーティブ機械学習(DCML)は、ディープラーニングモデルをトレーニングするためのIoT(Internet of Things)ドメインにおいて、有望な方法である。 分割学習 (SFL) は, デバイスが限られた計算能力を持つ場合に, 効率的な学習とテストに最も適している。 SFPLは、リソース制約のIoTデバイスが正のラベル付きデータしか持たない場合、SFLよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-25T05:33:06Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
  Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。 本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
  論文  参考訳（メタデータ） (2021-09-19T22:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。