論文の概要: Resource-aware Federated Learning using Knowledge Extraction and
Multi-model Fusion
- arxiv url: http://arxiv.org/abs/2208.07978v1
- Date: Tue, 16 Aug 2022 22:31:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 13:39:16.359797
- Title: Resource-aware Federated Learning using Knowledge Extraction and
Multi-model Fusion
- Title（参考訳）: 知識抽出とマルチモデル融合を用いたリソースアウェアフェデレーション学習
- Authors: Sixing Yu, Wei Qian, Ali Jannesari
- Abstract要約: 本稿では,エッジモデルから抽出した局所的知識の集合を集約する資源認識FLを提案する。
局所モデルとグローバル知識は、深い相互学習により、小さな大きさの知識ネットワークに抽出される。
本稿では,知識ネットワークとしてResNet-20をトレーニングする場合,VGG-11の通信コストを最大102$times$,ResNet-32を最大30$times$に削減する。
- 参考スコア（独自算出の注目度）: 2.4407358075103875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With increasing concern about user data privacy, federated learning (FL) has
been developed as a unique training paradigm for training machine learning
models on edge devices without access to sensitive data. Traditional FL and
existing methods directly employ aggregation methods on all edges of the same
models and training devices for a cloud server. Although these methods protect
data privacy, they are not capable of model heterogeneity, even ignore the
heterogeneous computing power, and incur steep communication costs. In this
paper, we purpose a resource-aware FL to aggregate an ensemble of local
knowledge extracted from edge models, instead of aggregating the weights of
each local model, which is then distilled into a robust global knowledge as the
server model through knowledge distillation. The local model and the global
knowledge are extracted into a tiny size knowledge network by deep mutual
learning. Such knowledge extraction allows the edge client to deploy a
resource-aware model and perform multi-model knowledge fusion while maintaining
communication efficiency and model heterogeneity. Empirical results show that
our approach has significantly improved over existing FL algorithms in terms of
communication cost and generalization performance in heterogeneous data and
models. Our approach reduces the communication cost of VGG-11 by up to
102$\times$ and ResNet-32 by up to 30$\times$ when training ResNet-20 as the
knowledge network.
- Abstract（参考訳）: ユーザデータのプライバシに関する懸念が高まる中、フェデレーション学習(FL)は、機密データにアクセスせずにエッジデバイス上で機械学習モデルをトレーニングするためのユニークなトレーニングパラダイムとして開発された。
従来のFLと既存のメソッドは、同じモデルのすべてのエッジにアグリゲーションメソッドを直接使用し、クラウドサーバのトレーニングデバイスを使用します。
これらの手法はデータのプライバシを保護するが、異質性をモデル化することはできず、異種コンピューティング能力を無視したり、通信コストの急騰を招いたりする。
本稿では,エッジモデルから抽出した局所知識の集合を,各局所モデルの重みを集約するのではなく,資源認識型flを用いて集約し,知識蒸留によってサーバモデルとして強固な地球的知識に蒸留する。
ローカルモデルとグローバル知識は、深層相互学習によって小さなサイズの知識ネットワークに抽出される。
このような知識抽出により、エッジクライアントは、通信効率とモデルの不均一性を維持しながら、リソース認識モデルをデプロイし、マルチモデル知識融合を実行することができる。
実験の結果,ヘテロジニアスデータとモデルにおける通信コストと一般化性能の観点から,既存のflアルゴリズムよりも大幅に改善した。
本稿では,知識ネットワークとしてResNet-20をトレーニングする場合,VGG-11の通信コストを最大102$\times$とResNet-32を最大30$\times$に削減する。
関連論文リスト
- Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
異常と欠落したデータは、産業応用における厄介な問題を構成する。
ディープラーニングによる異常検出が重要な方向として現れている。
エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
論文 参考訳（メタデータ） (2024-11-06T15:38:31Z) - Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory [27.651921957220004]
拡散型生成メモリ(DFedDGM)を用いた新しいデータフリーフェデレーションクラスインクリメンタルラーニングフレームワークを提案する。
FLにおける一般の非IID問題を軽減するために拡散モデルの訓練を支援するために,新しいバランスの取れたサンプルを設計する。
また、情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し、生成サンプルの品質を向上させる。
論文 参考訳（メタデータ） (2024-05-22T20:59:18Z) - Adaptive Hybrid Model Pruning in Federated Learning through Loss Exploration [17.589308358508863]
我々は、フェデレートされた損失探索フェーズを利用して、適応型ハイブリッドプルーニングを駆動する革新的アプローチであるAutoFLIPを紹介する。
我々は,AutoFLIPがグローバルコンバージェンスを効率的に加速するだけでなく,従来の手法に比べて精度と堅牢性も向上することを示した。
論文 参考訳（メタデータ） (2024-05-16T17:27:41Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2023-12-10T18:49:59Z) - pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文 参考訳（メタデータ） (2023-11-12T15:43:39Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - Federated Robustness Propagation: Sharing Adversarial Robustness in
Federated Learning [98.05061014090913]
フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。
敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。
既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。
本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
論文 参考訳（メタデータ） (2021-06-18T15:52:33Z) - Data-Free Knowledge Distillation for Heterogeneous Federated Learning [31.364314540525218]
Federated Learning(FL)は、グローバルサーバがデータにアクセスせずに、ローカルユーザのモデルパラメータを反復的に平均する分散機械学習パラダイムである。
知識蒸留(Knowledge Distillation)は、異種ユーザからの集約された知識を使用してサーバモデルを精錬することによって、この問題に対処するために最近登場した。
異種FLに対処するデータフリーな知識蒸留手法を提案し,サーバはユーザ情報をデータフリーでアンサンブルするための軽量なジェネレータを学習する。
論文 参考訳（メタデータ） (2021-05-20T22:30:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。