論文の概要: Enhancing Heterogeneous Federated Learning with Knowledge Extraction and Multi-Model Fusion

• arxiv url: http://arxiv.org/abs/2208.07978v2
• Date: Sat, 30 Sep 2023 04:32:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 21:19:34.042374
• Title: Enhancing Heterogeneous Federated Learning with Knowledge Extraction and Multi-Model Fusion
• Title（参考訳）: 知識抽出と多モデル融合によるヘテロジニアス連合学習の強化
• Authors: Duy Phuong Nguyen, Sixing Yu, J. Pablo Mu\~noz, Ali Jannesari
• Abstract要約: 本稿では,エッジデバイス上での機械学習モデルをセンシティブなデータにアクセスせずにトレーニングする,新しいフェデレーション学習(FL)手法を提案する。 本稿では,エッジモデルから局所的な知識を集約し,それを知識蒸留を通じて堅牢なグローバルな知識に蒸留する資源対応FL法を提案する。 提案手法は,既存のFLアルゴリズムと比較して,異種データとモデルにおける通信コストと性能を向上する。
• 参考スコア（独自算出の注目度）: 9.106417025722756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concerned with user data privacy, this paper presents a new federated learning (FL) method that trains machine learning models on edge devices without accessing sensitive data. Traditional FL methods, although privacy-protective, fail to manage model heterogeneity and incur high communication costs due to their reliance on aggregation methods. To address this limitation, we propose a resource-aware FL method that aggregates local knowledge from edge models and distills it into robust global knowledge through knowledge distillation. This method allows efficient multi-model knowledge fusion and the deployment of resource-aware models while preserving model heterogeneity. Our method improves communication cost and performance in heterogeneous data and models compared to existing FL algorithms. Notably, it reduces the communication cost of ResNet-32 by up to 50\% and VGG-11 by up to 10$\times$ while delivering superior performance.
• Abstract（参考訳）: 本稿では,ユーザデータのプライバシに関して,機密データにアクセスせずにエッジデバイス上で機械学習モデルをトレーニングする新しいフェデレーション学習(FL)手法を提案する。 従来のfl法は、プライバシ保護ではあるが、モデルの不均一性を管理しず、集約メソッドに依存するため、高い通信コストを発生させる。 この制限に対処するために,エッジモデルから局所知識を集約し,知識蒸留を通じてロバストなグローバル知識に蒸留する資源認識型fl法を提案する。 この方法は,モデルの不均一性を保ちながら,効率的なマルチモデル知識融合と資源認識モデルの展開を可能にする。 本手法は,既存のFLアルゴリズムと比較して,異種データやモデルにおける通信コストと性能を改善する。 特に、ResNet-32の通信コストを最大50\%、VGG-11を最大10$\times$まで削減し、優れたパフォーマンスを提供する。

関連論文リスト

• FedMHO: Heterogeneous One-Shot Federated Learning Towards Resource-Constrained Edge Devices [12.08958206272527]
  フェデレートラーニング(FL)はエッジコンピューティングのシナリオにおいてますます採用され、多くの異種クライアントが制約や十分なリソースの下で運用されている。 ワンショットFLは通信オーバーヘッドを軽減するための有望なアプローチとして登場し、モデルヘテロジニアスFLはクライアント間の多様なコンピューティングリソースの問題を解決する。 本稿では,リソースに制約のあるデバイス上で,リソースに十分なクライアントと軽量な生成モデルに対して,詳細な分類モデルを活用するFedMHOという新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T15:54:56Z)
• ProFe: Communication-Efficient Decentralized Federated Learning via Distillation and Prototypes [3.7340128675975173]
  分散フェデレーションラーニング(DFL)は、協力的かつプライバシー保護的な方法でモデルをトレーニングする。 本稿では,知識蒸留,プロトタイプ学習,量子化技術を組み合わせたDFLのための新しい通信最適化アルゴリズムであるProFeを紹介する。
  論文  参考訳（メタデータ） (2024-12-15T14:49:29Z)
• One-shot Federated Learning via Synthetic Distiller-Distillate Communication [63.89557765137003]
  One-shot Federated Learning (FL)は、単一のコミュニケーションで機械学習モデルの協調トレーニングを促進する強力な技術である。 我々はこれらの課題に対処するために,新しい,実用的なワンショットFLフレームワークであるFedSD2Cを提案する。
  論文  参考訳（メタデータ） (2024-12-06T17:05:34Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• pFedES: Model Heterogeneous Personalized Federated Learning with Feature Extractor Sharing [19.403843478569303]
  特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。 これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。 テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
  論文  参考訳（メタデータ） (2023-11-12T15:43:39Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Federated Robustness Propagation: Sharing Adversarial Robustness in Federated Learning [98.05061014090913]
  フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。 敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。 既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。 本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
  論文  参考訳（メタデータ） (2021-06-18T15:52:33Z)
• Data-Free Knowledge Distillation for Heterogeneous Federated Learning [31.364314540525218]
  Federated Learning(FL)は、グローバルサーバがデータにアクセスせずに、ローカルユーザのモデルパラメータを反復的に平均する分散機械学習パラダイムである。 知識蒸留(Knowledge Distillation)は、異種ユーザからの集約された知識を使用してサーバモデルを精錬することによって、この問題に対処するために最近登場した。 異種FLに対処するデータフリーな知識蒸留手法を提案し,サーバはユーザ情報をデータフリーでアンサンブルするための軽量なジェネレータを学習する。
  論文  参考訳（メタデータ） (2021-05-20T22:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。