論文の概要: Memory-adaptive Depth-wise Heterogenous Federated Learning
- arxiv url: http://arxiv.org/abs/2303.04887v1
- Date: Wed, 8 Mar 2023 20:52:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 16:59:38.377253
- Title: Memory-adaptive Depth-wise Heterogenous Federated Learning
- Title(参考訳): メモリ適応型奥行き方向異種連合学習
- Authors: Kai Zhang, Yutong Dai, Hongyi Wang, Eric Xing, Xun Chen, Lichao Sun
- Abstract要約: FLにFeDepthというメモリ適応型深度学習ソリューションを導入し,各クライアントのメモリ予算に応じて,全モデルをブロックに適応的に分解する。
CIFAR-10 と CIFAR-100 では,CIFAR-10 と CIFAR-100 でそれぞれ 5% と 10% 以上の精度向上を実現した。
- 参考スコア(独自算出の注目度): 24.47548449514516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning is a promising paradigm that allows multiple clients to
collaboratively train a model without sharing the local data. However, the
presence of heterogeneous devices in federated learning, such as mobile phones
and IoT devices with varying memory capabilities, would limit the scale and
hence the performance of the model could be trained. The mainstream approaches
to address memory limitations focus on width-slimming techniques, where
different clients train subnetworks with reduced widths locally and then the
server aggregates the subnetworks. The global model produced from these methods
suffers from performance degradation due to the negative impact of the actions
taken to handle the varying subnetwork widths in the aggregation phase. In this
paper, we introduce a memory-adaptive depth-wise learning solution in FL called
FeDepth, which adaptively decomposes the full model into blocks according to
the memory budgets of each client and trains blocks sequentially to obtain a
full inference model. Our method outperforms state-of-the-art approaches,
achieving 5% and more than 10% improvements in top-1 accuracy on CIFAR-10 and
CIFAR-100, respectively. We also demonstrate the effectiveness of depth-wise
fine-tuning on ViT. Our findings highlight the importance of memory-aware
techniques for federated learning with heterogeneous devices and the success of
depth-wise training strategy in improving the global model's performance.
- Abstract(参考訳): フェデレートラーニングは有望なパラダイムであり、複数のクライアントがローカルデータを共有せずにモデルを協調的にトレーニングすることができる。
しかしながら、携帯電話やIoTデバイスなど、さまざまなメモリ能力を持つフェデレーション学習における異種デバイスの存在は、スケールを制限し、モデルの性能をトレーニングすることが可能になる。
メモリ制限に対処する主流のアプローチは幅制限技術に重点を置いており、異なるクライアントが幅を減らしたサブネットをローカルにトレーニングし、サーバがサブネットを集約する。
これらの方法によって生成されたグローバルモデルは、集約フェーズにおける異なるサブネットワーク幅を扱うために取られるアクションの負の影響により、パフォーマンス低下に苦しむ。
本稿では,各クライアントのメモリ予算に応じて全モデルをブロックに適応的に分解し,順次ブロックを訓練し,完全な推論モデルを得る,メモリ適応型奥行き学習ソリューションであるfedepthを提案する。
CIFAR-10 と CIFAR-100 では,CIFAR-10 と CIFAR-100 でそれぞれ 5% と 10% 以上の精度向上を実現した。
また,ViTにおける深度ワイド微調整の有効性を示す。
本研究は,ヘテロジニアスデバイスを用いた連合学習におけるメモリ認識技術の重要性と,グローバルモデルの性能向上における奥行き訓練戦略の成功を浮き彫りにした。
関連論文リスト
- Efficient Language Model Architectures for Differentially Private
Federated Learning [21.280600854272716]
クロスデバイス・フェデレーション・ラーニング(Cross-device Federated Learning, FL)は、デバイスを離れることなく、数百万のエッジデバイスに分散したデータ上でモデルをトレーニングするテクニックである。
言語モデルの集中的なトレーニングでは、安定性とパフォーマンスの向上を提供するため、適応が望ましい。
ニューラルリカレントセルにおけるシグモイドとタンハの活性化を修飾することにより、SI CIFG (Coupled Input Forget Gate) 再カレントネットワークを提案する。
論文 参考訳(メタデータ) (2024-03-12T22:21:48Z) - Submodel Partitioning in Hierarchical Federated Learning: Algorithm
Design and Convergence Analysis [15.311309249848739]
階層学習(FL)は、従来の「星のトポロジー」アーキテクチャに基づく連合学習(FL)よりも有望なスケーラビリティを実証している。
本稿では,IoT(Internet of Things)の独立したサブトレーニングを提案する。
HISTの背景にある主要なアイデアは、モデル計算のグローバルバージョンであり、グローバルモデルを各ラウンドの非結合サブモデルに分割し、異なるセルに分散する。
論文 参考訳(メタデータ) (2023-10-27T04:42:59Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。
大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。
最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文 参考訳(メタデータ) (2023-07-10T21:08:52Z) - Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。
トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。
本稿では,フェデレートラーニングのための並列適応器を提案する。
論文 参考訳(メタデータ) (2023-02-06T17:30:33Z) - FedDCT: Federated Learning of Large Convolutional Neural Networks on
Resource Constrained Devices using Divide and Collaborative Training [13.072061144206097]
我々は,リソース制限エッジデバイス上で大規模かつ高性能なCNNを使用できる分散学習パラダイムであるFedDCTを紹介する。
我々は、CIFAR-10、CIFAR-100、および2つの実世界の医療データセットHAM10000、VAIPEを含む標準化されたデータセットの実験を経験的に実施する。
他の既存手法と比較して、FedDCTは精度が高く、通信ラウンドの回数を大幅に削減する。
論文 参考訳(メタデータ) (2022-11-20T11:11:56Z) - Supernet Training for Federated Image Classification under System
Heterogeneity [15.2292571922932]
本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。
フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。
本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
論文 参考訳(メタデータ) (2022-06-03T02:21:01Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳(メタデータ) (2022-02-16T13:03:27Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2021-02-09T11:27:14Z) - Accelerating Federated Learning over Reliability-Agnostic Clients in
Mobile Edge Computing Systems [15.923599062148135]
フェデレーション学習は、AIアプリケーションを促進するための、将来性のあるプライバシ保護アプローチとして登場した。
MECアーキテクチャと統合された場合、FLの効率性と効率を最適化することは依然として大きな課題である。
本稿では,MECアーキテクチャのために,HybridFLと呼ばれる多層フェデレート学習プロトコルを設計する。
論文 参考訳(メタデータ) (2020-07-28T17:35:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。