論文の概要: Federated Split Learning with Improved Communication and Storage Efficiency
- arxiv url: http://arxiv.org/abs/2507.15816v1
- Date: Mon, 21 Jul 2025 17:21:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.504319
- Title: Federated Split Learning with Improved Communication and Storage Efficiency
- Title(参考訳): コミュニケーションとストレージ効率を向上したフェデレーションスプリット学習
- Authors: Yujia Mu, Cong Shen,
- Abstract要約: フェデレーテッド・ラーニング(FL)は、一般的な分散機械学習(ML)ソリューションの1つだが、エッジデバイスにおける通信と計算のコストがかなり高い。
本稿では,サーバに単一モデルを保持しながらクライアントをローカルに更新する補助ネットワークを利用した,新しい通信・記憶効率の高いフェデレーション分割学習手法であるCSE-FSLを提案する。
- 参考スコア(独自算出の注目度): 9.277834710955766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is one of the popular distributed machine learning (ML) solutions but incurs significant communication and computation costs at edge devices. Federated split learning (FSL) can train sub-models in parallel and reduce the computational burden of edge devices by splitting the model architecture. However, it still requires a high communication overhead due to transmitting the smashed data and gradients between clients and the server in every global round. Furthermore, the server must maintain separate partial models for every client, leading to a significant storage requirement. To address these challenges, this paper proposes a novel communication and storage efficient federated split learning method, termed CSE-FSL, which utilizes an auxiliary network to locally update the weights of the clients while keeping a single model at the server, hence avoiding frequent transmissions of gradients from the server and greatly reducing the storage requirement of the server. Additionally, a new model update method of transmitting the smashed data in selected epochs can reduce the amount of smashed data sent from the clients. We provide a theoretical analysis of CSE-FSL, rigorously guaranteeing its convergence under non-convex loss functions. The extensive experimental results further indicate that CSE-FSL achieves a significant communication reduction over existing FSL solutions using real-world FL tasks.
- Abstract(参考訳): フェデレーテッド・ラーニング(FL)は、一般的な分散機械学習(ML)ソリューションの1つだが、エッジデバイスにおける通信と計算のコストがかなり高い。
フェデレート・スプリット・ラーニング(FSL)は、サブモデルを並列に訓練し、モデルアーキテクチャを分割することでエッジデバイスの計算負担を軽減する。
しかしながら、グローバルラウンド毎にクライアントとサーバ間のスマッシュなデータと勾配を送信するため、通信のオーバーヘッドは高い。
さらに、サーバはクライアントごとに別々の部分モデルをメンテナンスしなければなりません。
これらの課題に対処するために,サーバに単一モデルを保持しながらクライアントの重みをローカルに更新し,サーバからのグラデーションの頻繁な伝達を回避し,サーバのストレージ要求を大幅に低減する,CSE-FSLと呼ばれる新しい通信・記憶効率の高いフェデレーション分割学習手法を提案する。
さらに、選択したエポックにスマッシュデータを送信する新たなモデル更新手法により、クライアントから送信されるスマッシュデータの量を削減できる。
非凸損失関数の下での収束を厳格に保証するCSE-FSLの理論解析を行う。
さらに、CSE-FSLは、実世界のFLタスクを用いて既存のFSLソリューションよりも大きな通信量削減を実現していることを示す。
関連論文リスト
- Lightweight Federated Learning over Wireless Edge Networks [83.4818741890634]
Federated (FL) はネットワークエッジの代替品であるが、無線ネットワークでは代替品である。
閉形式式FL収束ギャップ伝送パワー,モデルプルーニング誤差,量子化を導出する。
LTFLは、実世界のデータセットの実験において最先端のスキームよりも優れている。
論文 参考訳(メタデータ) (2025-07-13T09:14:17Z) - FSL-SAGE: Accelerating Federated Split Learning via Smashed Activation Gradient Estimation [13.034619943612311]
フェデレートラーニング(FL)やスプリットラーニング(SL)のような協調学習手法は、生データを共有せずに分散機械学習を可能にする。
補助モデルを用いてサーバ側勾配フィードバックを推定する新しいフェデレーション分割学習アルゴリズムであるFSL-SAGEを提案する。
論文 参考訳(メタデータ) (2025-05-29T07:18:59Z) - Federated Split Learning with Model Pruning and Gradient Quantization in Wireless Networks [7.439160287320074]
Federated split learning (FedSL)は、モデル分割によるエッジデバイスとサーバ間の協調トレーニングを実装している。
本稿では,リソース制約のあるエッジデバイスのトレーニング負担を軽減する軽量なFedSL方式を提案する。
提案手法の収束性能を定量化するために理論的解析を行う。
論文 参考訳(メタデータ) (2024-12-09T11:43:03Z) - Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。
この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
論文 参考訳(メタデータ) (2024-08-26T17:03:14Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳(メタデータ) (2024-02-28T03:27:10Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳(メタデータ) (2023-05-15T22:04:49Z) - Efficient Parallel Split Learning over Resource-constrained Wireless
Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。
そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。
提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文 参考訳(メタデータ) (2023-03-26T16:09:48Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T04:29:44Z) - Communication and Storage Efficient Federated Split Learning [19.369076939064904]
Federated Split LearningはFLの並列モデルトレーニング原則を保存する。
サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。
本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
論文 参考訳(メタデータ) (2023-02-11T04:44:29Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Communication-Efficient Online Federated Learning Framework for
Nonlinear Regression [5.67468104295976]
本稿では,部分共有型オンラインフェデレーション学習フレームワーク(PSO-Fed)を提案する。
PSO-Fedは、クライアントが継続的ストリーミングデータを使用してローカルモデルを更新し、更新されたモデルの一部をサーバと共有することを可能にする。
実験の結果,PSO-Fed は Online-Fed よりも通信オーバーヘッドが著しく低い競争性能を達成できることがわかった。
論文 参考訳(メタデータ) (2021-10-13T08:11:34Z) - Coded Computing for Federated Learning at the Edge [3.385874614913973]
フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。
最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。
我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
論文 参考訳(メタデータ) (2020-07-07T08:20:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。