論文の概要: FedDCT: Federated Learning of Large Convolutional Neural Networks on
Resource Constrained Devices using Divide and Collaborative Training
- arxiv url: http://arxiv.org/abs/2211.10948v2
- Date: Mon, 18 Sep 2023 15:21:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 01:08:56.602270
- Title: FedDCT: Federated Learning of Large Convolutional Neural Networks on
Resource Constrained Devices using Divide and Collaborative Training
- Title（参考訳）: FedDCT:DivideとCollaborative Trainingを用いた資源制約デバイス上での大規模畳み込みニューラルネットワークのフェデレーション学習
- Authors: Quan Nguyen, Hieu H. Pham, Kok-Seng Wong, Phi Le Nguyen, Truong Thao
Nguyen, Minh N. Do
- Abstract要約: 我々は,リソース制限エッジデバイス上で大規模かつ高性能なCNNを使用できる分散学習パラダイムであるFedDCTを紹介する。
我々は、CIFAR-10、CIFAR-100、および2つの実世界の医療データセットHAM10000、VAIPEを含む標準化されたデータセットの実験を経験的に実施する。
他の既存手法と比較して、FedDCTは精度が高く、通信ラウンドの回数を大幅に削減する。
- 参考スコア（独自算出の注目度）: 13.072061144206097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce FedDCT, a novel distributed learning paradigm that enables the
usage of large, high-performance CNNs on resource-limited edge devices. As
opposed to traditional FL approaches, which require each client to train the
full-size neural network independently during each training round, the proposed
FedDCT allows a cluster of several clients to collaboratively train a large
deep learning model by dividing it into an ensemble of several small sub-models
and train them on multiple devices in parallel while maintaining privacy. In
this collaborative training process, clients from the same cluster can also
learn from each other, further improving their ensemble performance. In the
aggregation stage, the server takes a weighted average of all the ensemble
models trained by all the clusters. FedDCT reduces the memory requirements and
allows low-end devices to participate in FL. We empirically conduct extensive
experiments on standardized datasets, including CIFAR-10, CIFAR-100, and two
real-world medical datasets HAM10000 and VAIPE. Experimental results show that
FedDCT outperforms a set of current SOTA FL methods with interesting
convergence behaviors. Furthermore, compared to other existing approaches,
FedDCT achieves higher accuracy and substantially reduces the number of
communication rounds (with $4-8$ times fewer memory requirements) to achieve
the desired accuracy on the testing dataset without incurring any extra
training cost on the server side.
- Abstract（参考訳）: 我々は,リソース制限エッジデバイス上で大規模かつ高性能なCNNを使用できる分散学習パラダイムであるFedDCTを紹介する。
トレーニングラウンド毎に、各クライアントがフルサイズのニューラルネットワークを独立にトレーニングする必要がある従来のflアプローチとは対照的に、提案されているfedctでは、複数のクライアントのクラスタが、プライバシを維持しながら、複数の小さなサブモデルのアンサンブルに分割して、複数のデバイス上で並列にトレーニングすることで、大規模なディープラーニングモデルを共同的にトレーニングすることができる。
このコラボレーティブなトレーニングプロセスでは、同じクラスタからのクライアント同士の学習も可能で、アンサンブルのパフォーマンスをさらに向上します。
集約段階では、サーバはすべてのクラスタでトレーニングされたアンサンブルモデルの重み付け平均値を取る。
FedDCTはメモリ要件を減らし、ローエンドデバイスがFLに参加することを可能にする。
我々は、CIFAR-10、CIFAR-100、および2つの現実世界の医療データセットHAM10000、VAIPEを含む標準化データセットに関する広範な実験を経験的に実施する。
実験結果から,FedDCTは興味深い収束挙動を持つ現在のSOTA FL法よりも優れていた。
さらに、他の既存のアプローチと比較して、FedDCTは高い精度を実現し、サーバ側で追加のトレーニングコストを発生させることなく、テストデータセット上で所望の精度を達成するための通信ラウンドの数(メモリ要求の4～8倍)を大幅に削減する。
関連論文リスト
- Memory-adaptive Depth-wise Heterogenous Federated Learning [24.47548449514516]
FLにFeDepthというメモリ適応型深度学習ソリューションを導入し,各クライアントのメモリ予算に応じて,全モデルをブロックに適応的に分解する。
CIFAR-10 と CIFAR-100 では,CIFAR-10 と CIFAR-100 でそれぞれ 5% と 10% 以上の精度向上を実現した。
論文 参考訳（メタデータ） (2023-03-08T20:52:57Z) - Unifying Synergies between Self-supervised Learning and Dynamic
Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。
SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。
密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文 参考訳（メタデータ） (2023-01-22T17:12:58Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Supernet Training for Federated Image Classification under System
Heterogeneity [15.2292571922932]
本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。
フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。
本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
論文 参考訳（メタデータ） (2022-06-03T02:21:01Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized
Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。
CE-FLの過程をモデル化し,分析訓練を行った。
実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文 参考訳（メタデータ） (2022-03-26T00:41:57Z) - Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。
FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文 参考訳（メタデータ） (2021-12-18T02:26:38Z) - Training Recommender Systems at Scale: Communication-Efficient Model and
Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。
DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。
最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文 参考訳（メタデータ） (2020-10-18T01:44:42Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z) - Federated Learning with Cooperating Devices: A Consensus Approach for
Massive IoT Networks [8.456633924613456]
分散システムにおける機械学習モデルをトレーニングするための新しいパラダイムとして、フェデレートラーニング(FL)が登場している。
提案するFLアルゴリズムは,ネットワーク内のデータ操作を行うデバイスとの協調を利用して,完全に分散された(あるいはサーバレス)学習手法を提案する。
このアプローチは、分散接続とコンピューティングを特徴とするネットワークを超えて、5G 内で FL を統合するための基盤となる。
論文 参考訳（メタデータ） (2019-12-27T15:16:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。