論文の概要: Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization
- arxiv url: http://arxiv.org/abs/2203.09747v1
- Date: Fri, 18 Mar 2022 04:58:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 00:07:25.930080
- Title: Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization
- Title(参考訳): オンデマンドおよびその場カスタマイズのための効率的な分割混合フェデレーション学習
- Authors: Junyuan Hong, Haotao Wang, Zhangyang Wang, Jiayu Zhou
- Abstract要約: フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
- 参考スコア(独自算出の注目度): 107.72786199113183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) provides a distributed learning framework for
multiple participants to collaborate learning without sharing raw data. In many
practical FL scenarios, participants have heterogeneous resources due to
disparities in hardware and inference dynamics that require quickly loading
models of different sizes and levels of robustness. The heterogeneity and
dynamics together impose significant challenges to existing FL approaches and
thus greatly limit FL's applicability. In this paper, we propose a novel
Split-Mix FL strategy for heterogeneous participants that, once training is
done, provides in-situ customization of model sizes and robustness.
Specifically, we achieve customization by learning a set of base sub-networks
of different sizes and robustness levels, which are later aggregated on-demand
according to inference requirements. This split-mix strategy achieves
customization with high efficiency in communication, storage, and inference.
Extensive experiments demonstrate that our method provides better in-situ
customization than the existing heterogeneous-architecture FL methods. Codes
and pre-trained models are available: https://github.com/illidanlab/SplitMix.
- Abstract(参考訳): フェデレーション学習(fl)は、複数の参加者が生のデータを共有することなく学習を協調できる分散学習フレームワークを提供する。
多くの実践的なFLシナリオでは、参加者は異なるサイズのモデルやロバスト性のレベルを素早くロードする必要があるハードウェアと推論のダイナミクスの相違により異種資源を持つ。
ヘテロジニティとダイナミクスは、既存のFLアプローチに重大な課題を課し、FLの適用性を大幅に制限する。
本稿では,モデルサイズとロバスト性をその場でカスタマイズできる,異種参加者のための新しい分割混合fl戦略を提案する。
具体的には、異なるサイズとロバストなレベルのベースサブネットワークの集合を学習することでカスタマイズを実現し、その後、推論要求に従ってオンデマンドに集約する。
この分割混合戦略は、通信、ストレージ、推論において高い効率でカスタマイズを実現する。
大規模な実験により,本手法は既存の異種構造FL法よりもその場でのカスタマイズが優れていることが示された。
コードはhttps://github.com/illidanlab/splitmix.com/。
関連論文リスト
- A Survey on Efficient Federated Learning Methods for Foundation Model
Training [66.19763977571114]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - NeFL: Nested Federated Learning for Heterogeneous Clients [48.160716521203256]
フェデレートラーニング(FL)は、分散ラーニングにおけるプライバシー維持のための有望なアプローチである。
FLのトレーニングパイプラインでは、遅いクライアント(すなわちストラグラー)がトレーニング時間を遅くし、パフォーマンスを低下させる。
奥行きと幅方向の両方のスケーリングを用いて,モデルをモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
論文 参考訳(メタデータ) (2023-08-15T13:29:14Z) - Tensor Decomposition based Personalized Federated Learning [12.420951968273574]
Federated Learning(FL)は、ユーザのプライベートデータを収集することなく、確実に協調的なトレーニングを実現する、新しい分散機械学習フレームワークである。
FLの頻繁なコミュニケーションと平均集約戦略により、統計多様性データや大規模モデルへのスケーリングが困難になる。
本稿では,分解に基づくパーソナライズドラーニング(TDPFed)と呼ばれるFLフレームワークを提案する。このフレームワークでは,テンソル化線形層と畳み込み層を持つ新しいテンソル化局所モデルを設計し,通信コストを削減する。
論文 参考訳(メタデータ) (2022-08-27T08:09:14Z) - Multi-Model Federated Learning with Provable Guarantees [19.470024548995717]
Federated Learning (FL) は分散学習の亜種であり、デバイスは中央サーバや互いにデータを共有せずにモデルを学習する。
多モデルエッジFLとして,クライアントの共通プールを用いたフェデレーション設定において,複数の独立クライアントの処理を同時に参照する。
論文 参考訳(メタデータ) (2022-07-09T19:47:52Z) - CoFED: Cross-silo Heterogeneous Federated Multi-task Learning via
Co-training [11.198612582299813]
Federated Learning(FL)は、参加者がプライベートデータを交換することなく、高品質なモデルを協調的にトレーニングできる機械学習技術である。
擬似ラベル付き未ラベルデータに基づく通信効率の高いFLスキームであるCoFEDを提案する。
実験結果から,CoFEDは通信コストの低減を図った。
論文 参考訳(メタデータ) (2022-02-17T11:34:20Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳(メタデータ) (2021-08-19T12:20:31Z) - Federated Robustness Propagation: Sharing Adversarial Robustness in
Federated Learning [98.05061014090913]
フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。
敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。
既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。
本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
論文 参考訳(メタデータ) (2021-06-18T15:52:33Z) - Hybrid Federated Learning: Algorithms and Implementation [61.0640216394349]
Federated Learning(FL)は、分散データセットとプライベートデータセットを扱う分散機械学習パラダイムである。
ハイブリッドFLのためのモデルマッチングに基づく新しい問題定式化を提案する。
次に,グローバルモデルとローカルモデルを協調して学習し,完全かつ部分的な特徴量を扱う効率的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-22T23:56:03Z) - Loosely Coupled Federated Learning Over Generative Models [6.472716351335859]
プライベートデータをアップロードすることなく、さまざまなクライアント間で協調的な機械学習を実現するために、フェデレートラーニング(FL)が提案された。
本稿では,低通信コストと不均一なフェデレーション学習を実現するために,Losely Coupled Federated Learning (LC-FL)を提案する。
論文 参考訳(メタデータ) (2020-09-28T01:09:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。