Fugu-MT 論文翻訳(概要): Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training

論文の概要: Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training

arxiv url: http://arxiv.org/abs/2406.15125v1
Date: Fri, 21 Jun 2024 13:19:29 GMT
ステータス: 処理完了
システム内更新日: 2024-06-24 13:32:37.627149
Title: Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training
Title（参考訳）: フェデレートラーニングの導入:部分モデルトレーニングによる弱クライアント参加の実現
Authors: Sunwoo Lee, Tuo Zhang, Saurav Prakash, Yue Niu, Salman Avestimehr,
Abstract要約: フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
参考スコア（独自算出の注目度）: 21.89214794178211
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In Federated Learning (FL), clients may have weak devices that cannot train the full model or even hold it in their memory space. To implement large-scale FL applications, thus, it is crucial to develop a distributed learning method that enables the participation of such weak clients. We propose EmbracingFL, a general FL framework that allows all available clients to join the distributed training regardless of their system resource capacity. The framework is built upon a novel form of partial model training method in which each client trains as many consecutive output-side layers as its system resources allow. Our study demonstrates that EmbracingFL encourages each layer to have similar data representations across clients, improving FL efficiency. The proposed partial model training method guarantees convergence to a neighbor of stationary points for non-convex and smooth problems. We evaluate the efficacy of EmbracingFL under a variety of settings with a mixed number of strong, moderate (~40% memory), and weak (~15% memory) clients, datasets (CIFAR-10, FEMNIST, and IMDB), and models (ResNet20, CNN, and LSTM). Our empirical study shows that EmbracingFL consistently achieves high accuracy as like all clients are strong, outperforming the state-of-the-art width reduction methods (i.e. HeteroFL and FjORD).
Abstract（参考訳）: フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。大規模FLアプリケーションを実装するためには,このような弱いクライアントの参加を可能にする分散学習手法を開発することが重要である。本稿では,システムリソースの容量に関わらず,すべての利用可能なクライアントが分散トレーニングに参加することを可能にする,一般的なFLフレームワークであるEnbracingFLを提案する。このフレームワークは、各クライアントがシステムリソースが許容する連続的な出力側レイヤをトレーニングする、新しい形式の部分モデルトレーニング手法に基づいて構築されている。本研究は,各レイヤがクライアント間で同様のデータ表現を行うことを奨励し,FL効率を向上することを示す。提案手法は,非凸および滑らかな問題に対する定常点近傍への収束を保証する。本研究では,強い(～40%のメモリ),弱い(～15%のメモリ)クライアント,データセット(CIFAR-10,FEMNIST,IMDB),モデル(ResNet20,CNN,LSTM)を混在させた各種環境下でのFL導入の有効性を評価する。実験により,EmbingFLは,すべてのクライアントが強いように常に高い精度を実現し,最先端の幅低減法(HeteroFL,FjORD)よりも優れていた。

関連論文リスト

Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2024-05-10T11:52:53Z)
An Element-Wise Weights Aggregation Method for Federated Learning [11.9232569348563]
フェデレートラーニングのための革新的要素量集約法(EWWA-FL)を提案する。 EWWA-FLは、個々の要素のレベルでグローバルモデルに局所的な重みを集約し、各クライアントが学習プロセスに要素的に貢献することを可能にする。各クライアントのユニークなデータセット特性を考慮して、EWWA-FLはグローバルモデルの堅牢性を異なるデータセットに拡張する。
論文参考訳（メタデータ） (2024-04-24T15:16:06Z)
A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文参考訳（メタデータ） (2024-01-09T10:22:23Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文参考訳（メタデータ） (2022-10-31T22:59:03Z)
A Fair Federated Learning Framework With Reinforcement Learning [23.675056844328]
フェデレートラーニング(Federated Learning, FL)は、多くのクライアントが中央サーバの協調の下でモデルを協調的にトレーニングするパラダイムである。本稿では,クライアントにアグリゲーション重み付けを割り当てるポリシを自動的に学習するPG-FFLという強化学習フレームワークを提案する。フレームワークの有効性を検証するため、多様なデータセットに対して広範な実験を行う。
論文参考訳（メタデータ） (2022-05-26T15:10:16Z)
Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文参考訳（メタデータ） (2022-03-18T04:58:34Z)
No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文参考訳（メタデータ） (2022-02-16T13:03:27Z)
A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning [17.55163940659976]
Federated Learning(FL)は、クライアントデバイスが共有モデルを共同で学習することを可能にするトレーニングテクニックである。モデル精度、処理遅延、通信効率を協調的に最適化する効率的なFLフレームワークを設計する。実験により、FedMarlは処理遅延と通信コストを大幅に削減して、モデルの精度を大幅に改善できることが示された。
論文参考訳（メタデータ） (2022-01-09T05:55:17Z)
Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文参考訳（メタデータ） (2021-09-19T22:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。