Fugu-MT 論文翻訳(概要): Federated Learning with Flexible Architectures

論文の概要: Federated Learning with Flexible Architectures

arxiv url: http://arxiv.org/abs/2406.09877v1
Date: Fri, 14 Jun 2024 09:44:46 GMT
ステータス: 処理完了
システム内更新日: 2024-06-17 14:14:45.476904
Title: Federated Learning with Flexible Architectures
Title（参考訳）: フレキシブルアーキテクチャによるフェデレーション学習
Authors: Jong-Ik Park, Carlee Joe-Wong,
Abstract要約: 本稿では,フレキシブルアーキテクチャを用いたフェデレートラーニング(FedFA)について紹介する。 FedFAは、モデルアグリゲーション中に、クライアントのローカルアーキテクチャとFLシステムにおける最大のネットワークアーキテクチャを整合させるために、レイヤグラフト技術を導入している。
参考スコア（独自算出の注目度）: 12.800116749927266
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Traditional federated learning (FL) methods have limited support for clients with varying computational and communication abilities, leading to inefficiencies and potential inaccuracies in model training. This limitation hinders the widespread adoption of FL in diverse and resource-constrained environments, such as those with client devices ranging from powerful servers to mobile devices. To address this need, this paper introduces Federated Learning with Flexible Architectures (FedFA), an FL training algorithm that allows clients to train models of different widths and depths. Each client can select a network architecture suitable for its resources, with shallower and thinner networks requiring fewer computing resources for training. Unlike prior work in this area, FedFA incorporates the layer grafting technique to align clients' local architectures with the largest network architecture in the FL system during model aggregation. Layer grafting ensures that all client contributions are uniformly integrated into the global model, thereby minimizing the risk of any individual client's data skewing the model's parameters disproportionately and introducing security benefits. Moreover, FedFA introduces the scalable aggregation method to manage scale variations in weights among different network architectures. Experimentally, FedFA outperforms previous width and depth flexible aggregation strategies. Furthermore, FedFA demonstrates increased robustness against performance degradation in backdoor attack scenarios compared to earlier strategies.
Abstract（参考訳）: 従来のフェデレートラーニング(FL)手法は、計算能力や通信能力の異なるクライアントを限定的にサポートし、モデルトレーニングにおける非効率性と潜在的な不正確性をもたらす。この制限は、強力なサーバからモバイルデバイスまで幅広いクライアントデバイスを持つような、多様なリソース制約のある環境において、FLの普及を妨げている。このニーズに対処するために、クライアントがさまざまな幅と深さのモデルをトレーニングできるFLトレーニングアルゴリズムであるFederated Learning with Flexible Architectures (FedFA)を紹介します。各クライアントは、トレーニングに少ないコンピューティングリソースを必要とする浅く薄いネットワークで、そのリソースに適したネットワークアーキテクチャを選択することができる。この分野での以前の作業とは異なり、FedFAはモデルアグリゲーション中にクライアントのローカルアーキテクチャとFLシステムにおける最大のネットワークアーキテクチャを整合させるため、レイヤグラフト技術を導入している。レイヤグラフトにより、すべてのクライアントコントリビューションがグローバルモデルに統合されることが保証されるため、個々のクライアントのデータがモデルのパラメータを不均等に振る舞うリスクを最小化し、セキュリティ上のメリットがもたらされる。さらに、FedFAは、異なるネットワークアーキテクチャ間の重みのスケール変動を管理するスケーラブルなアグリゲーション手法を導入している。実験的に、FedFAは以前の幅と深度フレキシブルアグリゲーション戦略より優れています。さらに、FedFAは、以前の戦略と比較して、バックドアアタックシナリオのパフォーマンス低下に対する堅牢性の向上を示している。

関連論文リスト

Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
論文参考訳（メタデータ） (2024-06-21T13:19:29Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
When Computing Power Network Meets Distributed Machine Learning: An Efficient Federated Split Learning Framework [6.871107511111629]
CPN-FedSLはComputer Power Network (CPN)上のFederated Split Learning (FedSL)フレームワークである。私たちは、基本的な設定と学習特性(例えば、レイテンシ、フロー、収束)をキャプチャする専用のモデルを構築します。
論文参考訳（メタデータ） (2023-05-22T12:36:52Z)
Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文参考訳（メタデータ） (2022-03-18T04:58:34Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文参考訳（メタデータ） (2022-02-16T13:03:27Z)
Architecture Agnostic Federated Learning for Neural Networks [19.813602191888837]
この研究は、FedHeNN(Federated Heterogeneous Neural Networks)フレームワークを導入している。 FedHeNNは、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することを可能にする。 FedHeNNのキーとなるアイデアは、ピアクライアントから取得したインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。
論文参考訳（メタデータ） (2022-02-15T22:16:06Z)
An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文参考訳（メタデータ） (2021-11-19T12:58:59Z)
FedGEMS: Federated Learning of Larger Server Models via Selective Knowledge Fusion [19.86388925556209]
フェデレートラーニング(FL)は、データをプライベートに保ちながらグローバルモデルを学ぶための実行可能なソリューションとして登場した。本研究では,FLのモデル容量を突破する強力なサーバモデルを活用するための新しいパラダイムについて検討する。
論文参考訳（メタデータ） (2021-10-21T10:06:44Z)
Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文参考訳（メタデータ） (2021-09-17T04:48:42Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。