論文の概要: Federated Learning via Decentralized Dataset Distillation in
Resource-Constrained Edge Environments
- arxiv url: http://arxiv.org/abs/2208.11311v1
- Date: Wed, 24 Aug 2022 05:36:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-25 12:23:33.231010
- Title: Federated Learning via Decentralized Dataset Distillation in
Resource-Constrained Edge Environments
- Title（参考訳）: 資源制約エッジ環境における分散データセット蒸留によるフェデレーション学習
- Authors: Rui Song, Dai Liu, Dave Zhenyu Chen, Andreas Festag, Carsten Trinitis,
Martin Schulz, Alois Knoll
- Abstract要約: 我々は,新しいフェデレート学習フレームワークであるFedD3を導入し,全体の通信量を削減する。
従来の学習手法ではなく、局所的なデータセット蒸留を活用することでこれを実現できる。
- 参考スコア（独自算出の注目度）: 11.46918838480981
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel federated learning framework, FedD3, which reduces the
overall communication volume and with that opens up the concept of federated
learning to more application scenarios in network-constrained environments. It
achieves this by leveraging local dataset distillation instead of traditional
learning approaches (i) to significantly reduce communication volumes and (ii)
to limit transfers to one-shot communication, rather than iterative multiway
communication. Instead of sharing model updates, as in other federated learning
approaches, FedD3 allows the connected clients to distill the local datasets
independently, and then aggregates those decentralized distilled datasets
(typically in the form a few unrecognizable images, which are normally smaller
than a model) across the network only once to form the final model. Our
experimental results show that FedD3 significantly outperforms other federated
learning frameworks in terms of needed communication volumes, while it provides
the additional benefit to be able to balance the trade-off between accuracy and
communication cost, depending on usage scenario or target dataset. For
instance, for training an AlexNet model on a Non-IID CIFAR-10 dataset with 10
clients, FedD3 can either increase the accuracy by over 71% with a similar
communication volume, or save 98% of communication volume, while reaching the
same accuracy, comparing to other one-shot federated learning approaches.
- Abstract（参考訳）: 我々は,新しいフェデレーション学習フレームワークであるFedD3を導入し,コミュニケーション量を削減し,フェデレーション学習の概念をネットワーク制約環境におけるより多くのアプリケーションシナリオに開放する。
従来の学習アプローチに代えて,ローカルデータセットの蒸留を活用することで,これを実現するのです。
(i)通信量を大幅に減らすこと、及び
(ii)反復的マルチウェイ通信ではなく、ワンショット通信への転送を制限すること。
モデル更新を共有する代わりに、他のフェデレーション学習アプローチと同様に、feedd3では、接続されたクライアントがローカルデータセットを独立に蒸留し、それらの分散蒸留されたデータセット(通常、モデルより小さいいくつかの認識不能な画像の形で)をネットワーク全体に集約して最終モデルを形成することができる。
実験の結果,feedd3は,使用シナリオや目標データセットに応じて,精度と通信コストのトレードオフをバランスさせることで,必要な通信量で他のフェデレーション学習フレームワークを著しく上回っていることが示された。
例えば、10のクライアントを持つ非IID CIFAR-10データセットでAlexNetモデルをトレーニングする場合、FedD3は、同様の通信ボリュームで精度を71%以上向上するか、通信ボリュームの98%を節約できる。
関連論文リスト
- FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning [18.38030098837294]
フェデレーション学習は、分散クライアントがローカルデータを使用して機械学習モデルを協調的にトレーニングするためのフレームワークである。
分散環境のための効率的パーソナライズされたフェデレーション学習アルゴリズムであるFedSPDを提案する。
低接続性ネットワークにおいてもFedSPDが正確なモデルを学ぶことを示す。
論文 参考訳（メタデータ） (2024-10-24T15:48:34Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。
本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。
我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
論文 参考訳（メタデータ） (2022-08-19T17:57:32Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。
現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。
MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
論文 参考訳（メタデータ） (2020-12-24T01:43:53Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。