Fugu-MT 論文翻訳(概要): Communication and Storage Efficient Federated Split Learning

論文の概要: Communication and Storage Efficient Federated Split Learning

arxiv url: http://arxiv.org/abs/2302.05599v1
Date: Sat, 11 Feb 2023 04:44:29 GMT
ステータス: 処理完了
システム内更新日: 2023-02-14 19:37:44.917782
Title: Communication and Storage Efficient Federated Split Learning
Title（参考訳）: フェデレーション・スプリット学習におけるコミュニケーションと記憶
Authors: Yujia Mu, Cong Shen
Abstract要約: Federated Split LearningはFLの並列モデルトレーニング原則を保存する。サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
参考スコア（独自算出の注目度）: 19.369076939064904
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) is a popular distributed machine learning (ML) paradigm, but is often limited by significant communication costs and edge device computation capabilities. Federated Split Learning (FSL) preserves the parallel model training principle of FL, with a reduced device computation requirement thanks to splitting the ML model between the server and clients. However, FSL still incurs very high communication overhead due to transmitting the smashed data and gradients between the clients and the server in each global round. Furthermore, the server has to maintain separate models for every client, resulting in a significant computation and storage requirement that grows linearly with the number of clients. This paper tries to solve these two issues by proposing a communication and storage efficient federated and split learning (CSE-FSL) strategy, which utilizes an auxiliary network to locally update the client models while keeping only a single model at the server, hence avoiding the communication of gradients from the server and greatly reducing the server resource requirement. Communication cost is further reduced by only sending the smashed data in selected epochs from the clients. We provide a rigorous theoretical analysis of CSE-FSL that guarantees its convergence for non-convex loss functions. Extensive experimental results demonstrate that CSE-FSL has a significant communication reduction over existing FSL techniques while achieving state-of-the-art convergence and model accuracy, using several real-world FL tasks.
Abstract（参考訳）: フェデレートラーニング(FL)は、一般的な分散機械学習(ML)パラダイムであるが、通信コストとエッジデバイス計算能力によって制限されることが多い。 Federated Split Learning (FSL) はFLの並列モデルトレーニングの原則を維持しており、サーバとクライアント間でMLモデルを分割することで、デバイス計算の必要を減らしている。しかし、FSLは、各グローバルラウンドでクライアントとサーバ間のスマッシュなデータと勾配を送信するため、通信オーバーヘッドが非常に高い。さらに、サーバはクライアント毎に別々のモデルを保持しなければならないため、クライアント数と線形に増加する重要な計算とストレージ要件が生まれます。本稿では,サーバ上に単一モデルのみを保持しながらクライアントモデルをローカルに更新する補助ネットワークを用いた,通信とストレージの効率的なフェデレーション・スプリット・ラーニング(cse-fsl)戦略を提案することにより,サーバからの勾配の通信を回避し,サーバリソース要件を大幅に削減する。クライアントから選択したエポックにスマッシュデータを送れば通信コストはさらに削減される。非凸損失関数に対する収束を保証するCSE-FSLの厳密な理論的解析を提供する。 CSE-FSLは,複数の実世界のFLタスクを用いて,最先端の収束とモデル精度を達成しつつ,既存のFSL技術よりも通信効率が大幅に低下することを示した。

関連論文リスト

Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
論文参考訳（メタデータ） (2024-08-26T17:03:14Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文参考訳（メタデータ） (2024-02-06T07:25:21Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文参考訳（メタデータ） (2023-08-26T11:10:54Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
PFSL: Personalized & Fair Split Learning with Data & Label Privacy for thin clients [0.5144809478361603]
PFSLは分散分割学習の新しいフレームワークであり、多数のシンクライアントが並列にトランスファー学習を行う。クライアントモデルのパーソナライズを行うための軽量なステップを実装し,それぞれのデータ分布に対して高いパフォーマンスを実現する。我々の精度は現在のアルゴリズムSLをはるかに上回り、いくつかの実生活ベンチマークにおける集中学習に非常に近い。
論文参考訳（メタデータ） (2023-03-19T10:38:29Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Over-The-Air Clustered Wireless Federated Learning [2.2530496464901106]
クライアントがパラメータ更新を同時にサーバに送信できるので、Over-the-air (OTA) FLが好ましい。強力なサーバがなければ、クライアントが隣人と通信してコンセンサスMLモデルを取得する分散戦略が採用される。本稿では,OTA半分散クラスタリング無線FL(CWFL)とCWFL-Proxアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-11-07T08:34:35Z)
Communication-Efficient Online Federated Learning Framework for Nonlinear Regression [5.67468104295976]
本稿では,部分共有型オンラインフェデレーション学習フレームワーク(PSO-Fed)を提案する。 PSO-Fedは、クライアントが継続的ストリーミングデータを使用してローカルモデルを更新し、更新されたモデルの一部をサーバと共有することを可能にする。実験の結果,PSO-Fed は Online-Fed よりも通信オーバーヘッドが著しく低い競争性能を達成できることがわかった。
論文参考訳（メタデータ） (2021-10-13T08:11:34Z)
Coded Computing for Federated Learning at the Edge [3.385874614913973]
フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
論文参考訳（メタデータ） (2020-07-07T08:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。