Fugu-MT 論文翻訳(概要): Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization

論文の概要: Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization

arxiv url: http://arxiv.org/abs/2203.09747v1
Date: Fri, 18 Mar 2022 04:58:34 GMT
ステータス: 処理完了
システム内更新日: 2022-03-22 00:07:25.930080
Title: Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization
Title（参考訳）: オンデマンドおよびその場カスタマイズのための効率的な分割混合フェデレーション学習
Authors: Junyuan Hong, Haotao Wang, Zhangyang Wang, Jiayu Zhou
Abstract要約: フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
参考スコア（独自算出の注目度）: 107.72786199113183
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) provides a distributed learning framework for multiple participants to collaborate learning without sharing raw data. In many practical FL scenarios, participants have heterogeneous resources due to disparities in hardware and inference dynamics that require quickly loading models of different sizes and levels of robustness. The heterogeneity and dynamics together impose significant challenges to existing FL approaches and thus greatly limit FL's applicability. In this paper, we propose a novel Split-Mix FL strategy for heterogeneous participants that, once training is done, provides in-situ customization of model sizes and robustness. Specifically, we achieve customization by learning a set of base sub-networks of different sizes and robustness levels, which are later aggregated on-demand according to inference requirements. This split-mix strategy achieves customization with high efficiency in communication, storage, and inference. Extensive experiments demonstrate that our method provides better in-situ customization than the existing heterogeneous-architecture FL methods. Codes and pre-trained models are available: https://github.com/illidanlab/SplitMix.
Abstract（参考訳）: フェデレーション学習(fl)は、複数の参加者が生のデータを共有することなく学習を協調できる分散学習フレームワークを提供する。多くの実践的なFLシナリオでは、参加者は異なるサイズのモデルやロバスト性のレベルを素早くロードする必要があるハードウェアと推論のダイナミクスの相違により異種資源を持つ。ヘテロジニティとダイナミクスは、既存のFLアプローチに重大な課題を課し、FLの適用性を大幅に制限する。本稿では,モデルサイズとロバスト性をその場でカスタマイズできる,異種参加者のための新しい分割混合fl戦略を提案する。具体的には、異なるサイズとロバストなレベルのベースサブネットワークの集合を学習することでカスタマイズを実現し、その後、推論要求に従ってオンデマンドに集約する。この分割混合戦略は、通信、ストレージ、推論において高い効率でカスタマイズを実現する。大規模な実験により,本手法は既存の異種構造FL法よりもその場でのカスタマイズが優れていることが示された。コードはhttps://github.com/illidanlab/splitmix.com/。

関連論文リスト

FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
論文参考訳（メタデータ） (2024-10-17T22:47:19Z)
Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。 FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
論文参考訳（メタデータ） (2024-08-13T01:14:27Z)
Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2024-05-10T11:52:53Z)
A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文参考訳（メタデータ） (2024-01-09T10:22:23Z)
Federated Deep Equilibrium Learning: Harnessing Compact Global Representations to Enhance Personalization [23.340237814344377]
Federated Learning(FL)は、クライアントがデータを交換することなくグローバルモデルを協調的にトレーニングできる、画期的な分散学習パラダイムとして登場した。 FeDEQは,高効率なパーソナライズのために,コンパクトなグローバルデータ表現を利用するために,深い平衡学習とコンセンサス最適化を取り入れた新しいFLフレームワークである。 FeDEQは,訓練中の通信サイズを最大4倍,メモリフットプリントを1.5倍に削減しつつ,最先端のパーソナライズされたFL法の性能に適合することを示した。
論文参考訳（メタデータ） (2023-09-27T13:48:12Z)
CoFED: Cross-silo Heterogeneous Federated Multi-task Learning via Co-training [11.198612582299813]
Federated Learning(FL)は、参加者がプライベートデータを交換することなく、高品質なモデルを協調的にトレーニングできる機械学習技術である。擬似ラベル付き未ラベルデータに基づく通信効率の高いFLスキームであるCoFEDを提案する。実験結果から,CoFEDは通信コストの低減を図った。
論文参考訳（メタデータ） (2022-02-17T11:34:20Z)
Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文参考訳（メタデータ） (2021-08-19T12:20:31Z)
Federated Robustness Propagation: Sharing Adversarial Robustness in Federated Learning [98.05061014090913]
フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
論文参考訳（メタデータ） (2021-06-18T15:52:33Z)
Hybrid Federated Learning: Algorithms and Implementation [61.0640216394349]
Federated Learning(FL)は、分散データセットとプライベートデータセットを扱う分散機械学習パラダイムである。ハイブリッドFLのためのモデルマッチングに基づく新しい問題定式化を提案する。次に,グローバルモデルとローカルモデルを協調して学習し,完全かつ部分的な特徴量を扱う効率的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-12-22T23:56:03Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。