論文の概要: FedDCT: Federated Learning of Large Convolutional Neural Networks on
Resource Constrained Devices using Divide and Collaborative Training
- arxiv url: http://arxiv.org/abs/2211.10948v2
- Date: Mon, 18 Sep 2023 15:21:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 01:08:56.602270
- Title: FedDCT: Federated Learning of Large Convolutional Neural Networks on
Resource Constrained Devices using Divide and Collaborative Training
- Title（参考訳）: FedDCT:DivideとCollaborative Trainingを用いた資源制約デバイス上での大規模畳み込みニューラルネットワークのフェデレーション学習
- Authors: Quan Nguyen, Hieu H. Pham, Kok-Seng Wong, Phi Le Nguyen, Truong Thao
Nguyen, Minh N. Do
- Abstract要約: 我々は,リソース制限エッジデバイス上で大規模かつ高性能なCNNを使用できる分散学習パラダイムであるFedDCTを紹介する。
我々は、CIFAR-10、CIFAR-100、および2つの実世界の医療データセットHAM10000、VAIPEを含む標準化されたデータセットの実験を経験的に実施する。
他の既存手法と比較して、FedDCTは精度が高く、通信ラウンドの回数を大幅に削減する。
- 参考スコア（独自算出の注目度）: 13.072061144206097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce FedDCT, a novel distributed learning paradigm that enables the
usage of large, high-performance CNNs on resource-limited edge devices. As
opposed to traditional FL approaches, which require each client to train the
full-size neural network independently during each training round, the proposed
FedDCT allows a cluster of several clients to collaboratively train a large
deep learning model by dividing it into an ensemble of several small sub-models
and train them on multiple devices in parallel while maintaining privacy. In
this collaborative training process, clients from the same cluster can also
learn from each other, further improving their ensemble performance. In the
aggregation stage, the server takes a weighted average of all the ensemble
models trained by all the clusters. FedDCT reduces the memory requirements and
allows low-end devices to participate in FL. We empirically conduct extensive
experiments on standardized datasets, including CIFAR-10, CIFAR-100, and two
real-world medical datasets HAM10000 and VAIPE. Experimental results show that
FedDCT outperforms a set of current SOTA FL methods with interesting
convergence behaviors. Furthermore, compared to other existing approaches,
FedDCT achieves higher accuracy and substantially reduces the number of
communication rounds (with $4-8$ times fewer memory requirements) to achieve
the desired accuracy on the testing dataset without incurring any extra
training cost on the server side.
- Abstract（参考訳）: 我々は,リソース制限エッジデバイス上で大規模かつ高性能なCNNを使用できる分散学習パラダイムであるFedDCTを紹介する。
トレーニングラウンド毎に、各クライアントがフルサイズのニューラルネットワークを独立にトレーニングする必要がある従来のflアプローチとは対照的に、提案されているfedctでは、複数のクライアントのクラスタが、プライバシを維持しながら、複数の小さなサブモデルのアンサンブルに分割して、複数のデバイス上で並列にトレーニングすることで、大規模なディープラーニングモデルを共同的にトレーニングすることができる。
このコラボレーティブなトレーニングプロセスでは、同じクラスタからのクライアント同士の学習も可能で、アンサンブルのパフォーマンスをさらに向上します。
集約段階では、サーバはすべてのクラスタでトレーニングされたアンサンブルモデルの重み付け平均値を取る。
FedDCTはメモリ要件を減らし、ローエンドデバイスがFLに参加することを可能にする。
我々は、CIFAR-10、CIFAR-100、および2つの現実世界の医療データセットHAM10000、VAIPEを含む標準化データセットに関する広範な実験を経験的に実施する。
実験結果から,FedDCTは興味深い収束挙動を持つ現在のSOTA FL法よりも優れていた。
さらに、他の既存のアプローチと比較して、FedDCTは高い精度を実現し、サーバ側で追加のトレーニングコストを発生させることなく、テストデータセット上で所望の精度を達成するための通信ラウンドの数(メモリ要求の4～8倍)を大幅に削減する。
関連論文リスト
- Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。
我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。
実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-21T13:19:29Z) - Harnessing Increased Client Participation with Cohort-Parallel Federated Learning [2.9593087583214173]
Federated Learning(FL)は、ノードがグローバルモデルを協調的にトレーニングする機械学習アプローチである。
本稿では,Cohort-Parallel Federated Learning (CPFL)を紹介する。
4つのコホート、非IIDデータ分散、CIFAR-10を持つCPFLは、列車の時間短縮に1.9$times$、資源使用量削減に1.3$times$である。
論文 参考訳（メタデータ） (2024-05-24T15:34:09Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。
FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文 参考訳（メタデータ） (2021-12-18T02:26:38Z) - Comfetch: Federated Learning of Large Networks on Constrained Clients
via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。
我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文 参考訳（メタデータ） (2021-09-17T04:48:42Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。