論文の概要: Hierarchical Split Federated Learning: Convergence Analysis and System Optimization

• arxiv url: http://arxiv.org/abs/2412.07197v1
• Date: Tue, 10 Dec 2024 05:20:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:38:03.556838
• Title: Hierarchical Split Federated Learning: Convergence Analysis and System Optimization
• Title（参考訳）: 階層的分割型フェデレーション学習:収束解析とシステム最適化
• Authors: Zheng Lin, Wei Wei, Zhe Chen, Chan-Tong Lam, Xianhao Chen, Yue Gao, Jun Luo,
• Abstract要約: 我々は,多層システム下での分割フェデレーション学習(SFL)の学習性能を解析し,最適化する。 モデル分割(MS)とモデル集約(MA)の合同最適化問題を定式化する。 シミュレーションの結果,任意のマルチ層システムにおいて,SFLのMSとMAを効果的に最適化できることが示された。
• 参考スコア（独自算出の注目度）: 21.617769534088477
• License:
• Abstract: As AI models expand in size, it has become increasingly challenging to deploy federated learning (FL) on resource-constrained edge devices. To tackle this issue, split federated learning (SFL) has emerged as an FL framework with reduced workload on edge devices via model splitting; it has received extensive attention from the research community in recent years. Nevertheless, most prior works on SFL focus only on a two-tier architecture without harnessing multi-tier cloudedge computing resources. In this paper, we intend to analyze and optimize the learning performance of SFL under multi-tier systems. Specifically, we propose the hierarchical SFL (HSFL) framework and derive its convergence bound. Based on the theoretical results, we formulate a joint optimization problem for model splitting (MS) and model aggregation (MA). To solve this rather hard problem, we then decompose it into MS and MA subproblems that can be solved via an iterative descending algorithm. Simulation results demonstrate that the tailored algorithm can effectively optimize MS and MA for SFL within virtually any multi-tier system.
• Abstract（参考訳）: AIモデルのサイズが拡大するにつれ、リソース制約のあるエッジデバイスにフェデレーション学習(FL)をデプロイすることはますます困難になっている。 この問題に対処するため、分割統合学習(SFL)は、モデル分割によるエッジデバイスへの作業負荷を削減したFLフレームワークとして登場し、近年、研究コミュニティから広く注目を集めている。 しかしながら、SFLに関する以前の研究のほとんどは、マルチ層クラウドエッジコンピューティングリソースを使わずに、2層アーキテクチャのみに焦点を当てていた。 本稿では,SFLの学習性能を多層システムで解析し,最適化する。 具体的には、階層型SFL(HSFL)フレームワークを提案し、収束境界を導出する。 理論的結果に基づいて,モデル分割 (MS) とモデル集約 (MA) の合同最適化問題を定式化する。 この問題を解くために、繰り返し降下アルゴリズムを用いて解くことができるMSおよびMAサブプロブレムに分解する。 シミュレーションの結果,任意のマルチ層システムにおいて,SFLのMSとMAを効果的に最適化できることが示された。

関連論文リスト

• Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations [35.58487905412915]
  異種システムのための時間駆動型SFL(T-SFL)フレームワークを提案する。 T-SFLの学習性能を評価するため,大域的損失関数の上限を提供する。 本研究では,所定のしきい値以下に反復回数が減少するクライアントから局所モデルを除去する識別モデル選択アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-05-11T11:55:26Z)
• AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks [15.195798715517315]
  Split Federated Learning(SFL)は、モデルのパーティショニングを通じて、最初のトレーニングワークロードをサーバにfloadする、有望なソリューションである。 本稿では,資源制約付きエッジコンピューティングシステムにおいて,SFLを高速化するための新しいリソース適応型SFLフレームワークであるAdaptSFLを提案する。
  論文  参考訳（メタデータ） (2024-03-19T19:05:24Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
  フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。 深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。 NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-08-15T13:29:14Z)
• SplitFed resilience to packet loss: Where to split, that is the question [27.29876880765472]
  Split Federated Learning (SFL)は、FLにおける各クライアントに必要な計算パワーを削減し、プライバシを維持しながらSLを並列化することを目的としている。 本稿では,SFLの通信リンクにおけるパケット損失に対する堅牢性について検討する。 ヒト胚画像のセグメンテーションモデルを用いて実験を行い、より深い分割点の統計的に有意な利点を示す。
  論文  参考訳（メタデータ） (2023-07-25T22:54:47Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。