論文の概要: Split Federated Learning Architectures for High-Accuracy and Low-Delay Model Training
- arxiv url: http://arxiv.org/abs/2603.08687v1
- Date: Mon, 09 Mar 2026 17:53:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:16.692374
- Title: Split Federated Learning Architectures for High-Accuracy and Low-Delay Model Training
- Title(参考訳): 高精度・低遅延モデルトレーニングのための分散フェデレーション学習アーキテクチャ
- Authors: Yiannis Papageorgiou, Yannis Thomas, Ramin Khalili, Iordanis Koutsopoulos,
- Abstract要約: スプリット・フェデレート・ラーニング(SFL)における学習損失(と精度)を最適化するためのMLモデルトレーニングのためのネットワークアーキテクチャを見つける。
本稿では,遅延効率を保ちながら,モデル精度を明示的に考慮した最初の精度認識アルゴリズムを提案する。
提案手法は,最先端のSFLおよびHSFL方式と比較して,遅延を20%,オーバーヘッドを50%削減し,精度を3%向上させることができる。
- 参考スコア(独自算出の注目度): 5.628958216121256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Can we find a network architecture for ML model training so as to optimize training loss (and thus, accuracy) in Split Federated Learning (SFL)? And can this architecture also reduce training delay and communication overhead? While accuracy is not influenced by how we split the model in ordinary, state-of-the-art SFL, in this work we answer the questions above in the affirmative. Recent Hierarchical SFL (HSFL) architectures adopt a three-tier training structure consisting of clients, (local) aggregators, and a central server. In this architecture, the model is partitioned at two partitioning layers into three sub-models, which are executed across the three tiers. Despite their merits, HSFL architectures overlook the impact of the partitioning layers and client-to-aggregator assignments on accuracy, delay, and overhead. This work explicitly captures the impact of the partitioning layers and client-to-aggregator assignments on accuracy, delay and overhead by formulating a joint optimization problem. We prove that the problem is NP-hard and propose the first accuracy-aware heuristic algorithm that explicitly accounts for model accuracy, while remaining delay-efficient. Simulation results on public datasets show that our approach can improve accuracy by 3%, while reducing delay by 20% and overhead by 50%, compared to state-of-the-art SFL and HSFL schemes.
- Abstract(参考訳): スプリット・フェデレート・ラーニング(SFL)のトレーニング損失(と精度)を最適化するために、MLモデルトレーニングのためのネットワークアーキテクチャを見つけることはできるだろうか?
また、このアーキテクチャはトレーニングの遅延や通信のオーバーヘッドを軽減できますか?
精度は、通常、最先端のSFLでモデルを分割する方法の影響を受けないが、本研究では、上記の肯定的な疑問に答える。
最近の階層型SFL(HSFL)アーキテクチャでは、クライアント、(ローカル)アグリゲータ、中央サーバーで構成される3層トレーニング構造を採用している。
このアーキテクチャでは、モデルは2つの分割層で3つのサブモデルに分割され、3つの層で実行される。
そのメリットにもかかわらず、HSFLアーキテクチャは分割層とクライアントからアグリゲータへの割り当てが正確さ、遅延、オーバーヘッドに与える影響を見落としている。
この研究は、共同最適化問題を定式化することによって、分割層とクライアントと集約層の割り当てが精度、遅延、オーバーヘッドに与える影響を明示的に把握する。
この問題はNPハードであることが証明され,遅延効率を保ちながら,モデル精度を明示的に考慮した最初の精度対応ヒューリスティックアルゴリズムが提案される。
公開データセットのシミュレーション結果から,我々の手法は,最先端のSFLやHSFLに比べて,遅延率を20%,オーバーヘッド率を50%削減しながら,精度を3%向上できることが示された。
関連論文リスト
- Accelerating Wireless Distributed Learning via Hybrid Split and Federated Learning Optimization [58.557093803478274]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、無線ネットワークにおいて効果的な分散ラーニングパラダイムである。
ハイブリッドスプリットとフェデレート学習(HSFL)の両方の利点を活用するために、一部のデバイスはFLモードで動作し、その他のデバイスはSLモードで動作することができる。
本論文は,(1)学習モードの選択が全体の学習性能にどのように影響するか,2)バッチサイズとどのように相互作用するか,という3つの重要な疑問に対処することによって,HSFLを加速することを目的としている。
論文 参考訳(メタデータ) (2025-11-25T02:29:22Z) - SHeRL-FL: When Representation Learning Meets Split Learning in Hierarchical Federated Learning [5.447833971100033]
Federated Learning(FL)は、大規模ネットワークにおけるスケーラビリティとレイテンシの問題に対処するための、有望なアプローチである。
これまでの作業では、分割学習(SL)と階層FL(HierFL)を組み合わせてデバイス側の計算を削減しているが、これは階層間の調整によるトレーニングの複雑さをもたらす。
SLと階層モデルアグリゲーションを統合し,中間層での表現学習を取り入れたSHeRL-FLを提案する。
論文 参考訳(メタデータ) (2025-08-11T04:13:56Z) - Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。
そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
論文 参考訳(メタデータ) (2024-08-19T07:43:35Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。
グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
論文 参考訳(メタデータ) (2024-06-01T13:10:35Z) - Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations [35.58487905412915]
異種システムのための時間駆動型SFL(T-SFL)フレームワークを提案する。
T-SFLの学習性能を評価するため,大域的損失関数の上限を提供する。
本研究では,所定のしきい値以下に反復回数が減少するクライアントから局所モデルを除去する識別モデル選択アルゴリズムを開発する。
論文 参考訳(メタデータ) (2024-05-11T11:55:26Z) - Federated Learning over Hierarchical Wireless Networks: Training Latency Minimization via Submodel Partitioning [15.311309249848739]
階層型独立サブモデルトレーニング(Hierarchical independent submodel training、HIST)は、階層型クラウド-エッジ-クライアントネットワークにおけるこれらの問題に対処することを目的とした新しいFL方法論である。
本研究では,HISTを空気上計算(AirComp)で拡張することにより,エッジセル上でのモデルアグリゲーションの効率をより高めることができることを示す。
論文 参考訳(メタデータ) (2023-10-27T04:42:59Z) - NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。
深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-08-15T13:29:14Z) - Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。
降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。
提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
論文 参考訳(メタデータ) (2022-07-21T12:50:54Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳(メタデータ) (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。