論文の概要: Label driven Knowledge Distillation for Federated Learning with non-IID Data

• arxiv url: http://arxiv.org/abs/2209.14520v2
• Date: Fri, 30 Sep 2022 01:04:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 13:56:08.350204
• Title: Label driven Knowledge Distillation for Federated Learning with non-IID Data
• Title（参考訳）: 非iidデータを用いた連合学習のためのラベル駆動知識蒸留
• Authors: Minh-Duong Nguyen, Quoc-Viet Pham, Dinh Thai Hoang, Long Tran-Thanh, Diep N. Nguyen, Won-Joo Hwang
• Abstract要約: フルスタックFL(F2L)という新しいフェデレーション学習フレームワークを設計する。 本稿では,グローバルサーバにおけるラベル駆動型知識蒸留(LKD)手法を提案する。 提案アルゴリズムは,地域データ分布の知識を効果的に抽出することができる。
• 参考スコア（独自算出の注目度）: 35.682428476518176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-world applications, Federated Learning (FL) meets two challenges: (1) scalability, especially when applied to massive IoT networks; and (2) how to be robust against an environment with heterogeneous data. Realizing the first problem, we aim to design a novel FL framework named Full-stack FL (F2L). More specifically, F2L utilizes a hierarchical network architecture, making extending the FL network accessible without reconstructing the whole network system. Moreover, leveraging the advantages of hierarchical network design, we propose a new label-driven knowledge distillation (LKD) technique at the global server to address the second problem. As opposed to current knowledge distillation techniques, LKD is capable of training a student model, which consists of good knowledge from all teachers' models. Therefore, our proposed algorithm can effectively extract the knowledge of the regions' data distribution (i.e., the regional aggregated models) to reduce the divergence between clients' models when operating under the FL system with non-independent identically distributed data. Extensive experiment results reveal that: (i) our F2L method can significantly improve the overall FL efficiency in all global distillations, and (ii) F2L rapidly achieves convergence as global distillation stages occur instead of increasing on each communication cycle.
• Abstract（参考訳）: 現実世界のアプリケーションでは,フェデレーション学習(federated learning, fl)は,(1)大規模iotネットワークに適用した場合のスケーラビリティ,(2)異種データを持つ環境に対する堅牢性,の2つの課題を満たしている。 最初の問題を実現するために,Full-stack FL (F2L) という新しいFLフレームワークの設計を目指す。 より具体的には、F2Lは階層的なネットワークアーキテクチャを使用しており、ネットワークシステム全体を再構築することなくFLネットワークを拡張することができる。 さらに,階層的ネットワーク設計の利点を生かして,グローバルサーバにおける新たなラベル駆動知識蒸留(lkd)技術を提案する。 現在の知識蒸留技術とは対照的に、LKDはすべての教師のモデルから十分な知識を持つ学生モデルを訓練することができる。 そこで本提案アルゴリズムは,非独立な同一分散データを用いたFLシステムの下での動作において,各領域のデータ分布(地域集約モデル)の知識を効果的に抽出し,クライアントモデル間のばらつきを低減する。 広範な実験の結果 (i)F2L法は全グローバル蒸留におけるFL効率を大幅に向上させることができる。 (II)F2Lは, 各通信サイクルで増大する代わりに, グローバル蒸留の段階が生じるにつれて, 急速に収束する。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• FedDr+: Stabilizing Dot-regression with Global Feature Distillation for Federated Learning [27.782676760198697]
  フェデレートラーニング(FL)は、効果的なグローバルモデル開発のための重要なフレームワークとして登場した。 FLの主な課題はクライアントのドリフトであり、データの不均一性は分散した知識の集約を妨げる。 我々は,ドット回帰損失を用いた局所モデルアライメントを実現するFedDr+という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-04T14:34:13Z)
• FLIGAN: Enhancing Federated Learning with Incomplete Data using GAN [1.5749416770494706]
  Federated Learning (FL)は、ネットワークデバイス上での機械学習モデルの分散トレーニングのためのプライバシ保護メカニズムを提供する。 本稿では,FLにおけるデータ不完全性問題に対処する新しいアプローチであるFLIGANを提案する。 本手法はFLのプライバシ要件に則り,プロセス内の実際のデータを共有せずに合成データをフェデレートした方法で生成する。
  論文  参考訳（メタデータ） (2024-03-25T16:49:38Z)
• Fed-CO2: Cooperation of Online and Offline Models for Severe Data Heterogeneity in Federated Learning [14.914477928398133]
  フェデレートラーニング(FL)は、有望な分散ラーニングパラダイムとして登場した。 FLの有効性は、トレーニングに使われているデータの品質に大きく依存する。 ラベル分布スキューと特徴スキューの両方を扱う普遍的なFLフレームワークであるFed-CO$_2$を提案する。
  論文  参考訳（メタデータ） (2023-12-21T15:12:12Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
  VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。 サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。 新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-09-30T17:59:27Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Global Knowledge Distillation in Federated Learning [3.7311680121118345]
  本稿では,従来のグローバルモデルから知識を学習し,局所バイアス学習問題に対処する,新たなグローバル知識蒸留法であるFedGKDを提案する。 提案手法の有効性を示すため,各種CVデータセット(CIFAR-10/100)と設定(非i.dデータ)について広範な実験を行った。
  論文  参考訳（メタデータ） (2021-06-30T18:14:24Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。