論文の概要: Knowledge Distillation in Federated Learning: a Survey on Long Lasting Challenges and New Solutions

• arxiv url: http://arxiv.org/abs/2406.10861v1
• Date: Sun, 16 Jun 2024 09:12:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 20:21:59.051822
• Title: Knowledge Distillation in Federated Learning: a Survey on Long Lasting Challenges and New Solutions
• Title（参考訳）: フェデレートラーニングにおける知識蒸留 : 長期的課題と新しい解決法に関する調査
• Authors: Laiqiao Qin, Tianqing Zhu, Wanlei Zhou, Philip S. Yu,
• Abstract要約: Federated Learning(FL)は、分散されたプライバシ保護機械学習パラダイムである。 これらの課題に対処するため、知識蒸留(KD)は2020年からFLで広く適用されている。 この記事では、上記の課題に対処することに焦点を当てた、KDベースのFLに関する包括的な調査を提供する。
• 参考スコア（独自算出の注目度）: 43.802492935145985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a distributed and privacy-preserving machine learning paradigm that coordinates multiple clients to train a model while keeping the raw data localized. However, this traditional FL poses some challenges, including privacy risks, data heterogeneity, communication bottlenecks, and system heterogeneity issues. To tackle these challenges, knowledge distillation (KD) has been widely applied in FL since 2020. KD is a validated and efficacious model compression and enhancement algorithm. The core concept of KD involves facilitating knowledge transfer between models by exchanging logits at intermediate or output layers. These properties make KD an excellent solution for the long-lasting challenges in FL. Up to now, there have been few reviews that summarize and analyze the current trend and methods for how KD can be applied in FL efficiently. This article aims to provide a comprehensive survey of KD-based FL, focusing on addressing the above challenges. First, we provide an overview of KD-based FL, including its motivation, basics, taxonomy, and a comparison with traditional FL and where KD should execute. We also analyze the critical factors in KD-based FL in the appendix, including teachers, knowledge, data, and methods. We discuss how KD can address the challenges in FL, including privacy protection, data heterogeneity, communication efficiency, and personalization. Finally, we discuss the challenges facing KD-based FL algorithms and future research directions. We hope this survey can provide insights and guidance for researchers and practitioners in the FL area.
• Abstract（参考訳）: Federated Learning(FL)は、複数のクライアントをコーディネートしてモデルをトレーニングし、生データをローカライズする分散プライバシ保護機械学習パラダイムである。 しかし、この従来のFLは、プライバシーリスク、データ不均一性、通信ボトルネック、システム不均一性の問題など、いくつかの課題を提起している。 これらの課題に対処するため、知識蒸留(KD)は2020年からFLで広く適用されている。 KDは有効なモデル圧縮および拡張アルゴリズムである。 KDの中核的な概念は、中間層や出力層でロジットを交換することで、モデル間の知識伝達を容易にすることである。 これらの性質により、KDはFLの長期的課題に対する優れた解となる。 これまでのところ、FLでKDを効率的に適用するための現在の傾向と手法を要約し分析するレビューはほとんどない。 この記事では、上記の課題に対処することに焦点を当てた、KDベースのFLに関する包括的な調査を提供する。 まず、KDに基づくFLの概要について、そのモチベーション、基礎、分類、従来のFLとの比較、KDが実行すべき場所などについて概説する。 また,教師,知識,データ,方法など,虫垂におけるKD-based FLの要因を分析した。 我々は、プライバシー保護、データ不均一性、通信効率、パーソナライゼーションなど、FLにおける課題に対してKDがどのように対処できるかについて議論する。 最後に,KDに基づくFLアルゴリズムの課題と今後の研究方向性について論じる。 この調査は、FLエリアの研究者や実践者に対して、洞察とガイダンスを提供できることを願っています。

関連論文リスト

• SoK: Challenges and Opportunities in Federated Unlearning [32.0365189539138]
  本論文は、この新興分野における研究動向と課題を特定することを目的として、未学習の未学習文学を深く研究することを目的としている。
  論文  参考訳（メタデータ） (2024-03-04T19:35:08Z)
• A Survey on Knowledge Distillation of Large Language Models [102.84645991075283]
  知識蒸留(KD)は、高度な能力をオープンソースモデルに転送するための重要な方法論である。 本稿では,大規模言語モデル(LLM)の領域におけるKDの役割を包括的に調査する。
  論文  参考訳（メタデータ） (2024-02-20T16:17:37Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [66.19763977571114]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Towards Understanding and Improving Knowledge Distillation for Neural Machine Translation [59.31690622031927]
  この知識は,教師のトップ1の予測から得られたものである。 我々はtextbfTop-1 textbfInformation textbfEnhanced textbfKnowledge textbfDistillation (TIE-KD) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-14T08:23:03Z)
• Bayesian Federated Learning: A Survey [54.40136267717288]
  フェデレートラーニング(FL)は、分散インフラストラクチャ、コミュニケーション、コンピューティング、学習をプライバシ保護の方法で統合する際の利点を示している。 既存のFL手法のロバスト性と能力は、制限された動的データと条件によって挑戦される。 BFLはこれらの問題に対処するための有望なアプローチとして登場した。
  論文  参考訳（メタデータ） (2023-04-26T03:41:17Z)
• Vertical Federated Learning: A Structured Literature Review [0.0]
  フェデレートラーニング(FL)は、データプライバシのメリットを付加した、有望な分散ラーニングパラダイムとして登場した。 本稿では,VFLにおける最先端のアプローチを論じる構造化文献レビューを行う。
  論文  参考訳（メタデータ） (2022-12-01T16:16:41Z)
• Federated Learning: Applications, Challenges and Future Scopes [1.3190581566723918]
  フェデレーション・ラーニング(Federated Learning, FL)とは、複数のクライアントが機械学習の問題を解決するために、中心的なアグリゲータが協調するシステムである。 FLは無線通信、サービスレコメンデーション、インテリジェント医療診断システム、医療に応用されている。
  論文  参考訳（メタデータ） (2022-05-18T10:47:09Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• A Systematic Literature Review on Federated Learning: From A Model Quality Perspective [10.725466627592732]
  フェデレートラーニング(FL)は、データをローカルに残してグローバルモデルを共同でトレーニングすることができる。 本稿では,FLモデルの品質向上へのアプローチを体系的に検討し,客観的に分析する。
  論文  参考訳（メタデータ） (2020-12-01T05:48:36Z)
• Threats to Federated Learning: A Survey [35.724483191921244]
  フェデレーテッド・ラーニング(FL)は、この新しい現実の下で有望なソリューションとして登場した。 既存のFLプロトコルの設計は、敵に悪用される脆弱性を示すことが示されている。 本稿では、FLの概念を簡潔に紹介し、脅威モデルをカバーするユニークな分類法と、FLに対する2つの主要な攻撃について述べる。
  論文  参考訳（メタデータ） (2020-03-04T15:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。