論文の概要: FedNet2Net: Saving Communication and Computations in Federated Learning
with Model Growing
- arxiv url: http://arxiv.org/abs/2207.09568v1
- Date: Tue, 19 Jul 2022 21:54:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-21 14:27:47.342326
- Title: FedNet2Net: Saving Communication and Computations in Federated Learning
with Model Growing
- Title（参考訳）: FedNet2Net: モデル成長によるフェデレーション学習におけるコミュニケーションと計算の節約
- Authors: Amit Kumar Kundu and Joseph Jaja
- Abstract要約: フェデレート・ラーニング(Federated Learning, FL)は、最近開発された機械学習の分野である。
本稿では「モデル成長」の概念に基づく新しいスキームを提案する。
提案手法は3つの標準ベンチマークで広範囲に検証され、通信とクライアントの計算の大幅な削減を実現することが示されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a recently developed area of machine learning, in
which the private data of a large number of distributed clients is used to
develop a global model under the coordination of a central server without
explicitly exposing the data. The standard FL strategy has a number of
significant bottlenecks including large communication requirements and high
impact on the clients' resources. Several strategies have been described in the
literature trying to address these issues. In this paper, a novel scheme based
on the notion of "model growing" is proposed. Initially, the server deploys a
small model of low complexity, which is trained to capture the data complexity
during the initial set of rounds. When the performance of such a model
saturates, the server switches to a larger model with the help of
function-preserving transformations. The model complexity increases as more
data is processed by the clients, and the overall process continues until the
desired performance is achieved. Therefore, the most complex model is broadcast
only at the final stage in our approach resulting in substantial reduction in
communication cost and client computational requirements. The proposed approach
is tested extensively on three standard benchmarks and is shown to achieve
substantial reduction in communication and client computation while achieving
comparable accuracy when compared to the current most effective strategies.
- Abstract（参考訳）: フェデレートラーニング(FL)は、最近開発された機械学習の分野であり、大量の分散クライアントのプライベートデータを、データを明示的に公開することなく、中央サーバの協調の下でグローバルモデルを開発するために使用する。
標準fl戦略には、大きな通信要求やクライアントのリソースに対する大きな影響など、多くの重大なボトルネックがある。
これらの問題に対処するためのいくつかの戦略が文献に記載されている。
本稿では「モデル成長」の概念に基づく新しいスキームを提案する。
まず、サーバは低複雑性の小さなモデルをデプロイし、最初のラウンドの間、データの複雑さを捉えるように訓練します。
このようなモデルの性能が飽和すると、サーバは関数保存変換の助けを借りてより大きなモデルに切り替える。
モデル複雑性は、より多くのデータがクライアントによって処理されるにつれて増大し、全体的なプロセスは、望ましいパフォーマンスを達成するまで継続する。
したがって、最も複雑なモデルは、我々のアプローチの最終段階でのみ放送され、通信コストとクライアントの計算要求が大幅に削減される。
提案手法は3つの標準ベンチマークで広範囲に検証され,通信量やクライアントの計算量を大幅に削減すると同時に,現在の最も効果的な戦略と比較した場合の精度も向上する。
関連論文リスト
- High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。
実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-07-08T19:34:39Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:25:21Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Continual Adaptation of Vision Transformers for Federated Learning [26.64725725128934]
我々は,サーバが一連のクライアントと通信し,新たな概念を漸進的に学習する,連続的フェデレートラーニング(CFL)の重要な課題に注目した。
この問題に対する既存の試みは、クライアントや通信チャネルに大きなオーバーヘッドを課す傾向がある。
本稿では,サーバにおけるクライアントモデルを統合するための,新規で軽量な生成・蒸留方式を提案する。
論文 参考訳（メタデータ） (2023-06-16T17:02:12Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - Personalized Retrogress-Resilient Framework for Real-World Medical
Federated Learning [8.240098954377794]
本稿では,各クライアントに対して優れたパーソナライズモデルを生成するために,パーソナライズされた回帰耐性フレームワークを提案する。
実世界の皮膚内視鏡的FLデータセットに関する実験により、我々のパーソナライズされた回帰抵抗性フレームワークが最先端のFL手法より優れていることが証明された。
論文 参考訳（メタデータ） (2021-10-01T13:24:29Z) - Comfetch: Federated Learning of Large Networks on Constrained Clients
via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。
我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文 参考訳（メタデータ） (2021-09-17T04:48:42Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z) - Communication-Efficient Federated Learning via Optimal Client Sampling [20.757477553095637]
フェデレートラーニング(FL)は、中央サーバが多くのクライアントに分散したデータから学習をコーディネートする設定におけるプライバシー上の懸念を改善する。
本稿では,コミュニケーション制約のある環境において,新しい,シンプルで効率的な中央モデルを更新する方法を提案する。
我々は,ロジスティック回帰のための合成データセットと2つのFLベンチマーク,すなわちEMNISTの分類タスクと現実的な言語モデリングタスクを用いて,このポリシーを検証した。
論文 参考訳（メタデータ） (2020-07-30T02:58:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。