論文の概要: Federated Distillation: A Survey

• arxiv url: http://arxiv.org/abs/2404.08564v1
• Date: Tue, 2 Apr 2024 03:42:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-21 20:14:16.628718
• Title: Federated Distillation: A Survey
• Title（参考訳）: Federated Distillation: A Survey
• Authors: Lin Li, Jianping Gou, Baosheng Yu, Lan Du, Zhang Yiand Dacheng Tao,
• Abstract要約: Federated Learning (FL)は、個々のクライアントからプライベートトレーニングデータを共有せずに、モデルを協調的にトレーニングすることを目指している。 FLへの知識蒸留の統合が提案され、Federated Distillation(FD)と呼ばれるものを形成する。 FDはクライアントとサーバ間のより柔軟な知識伝達を可能にし、単なるモデルパラメータの共有を超越します。
• 参考スコア（独自算出の注目度）: 73.08661634882195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) seeks to train a model collaboratively without sharing private training data from individual clients. Despite its promise, FL encounters challenges such as high communication costs for large-scale models and the necessity for uniform model architectures across all clients and the server. These challenges severely restrict the practical applications of FL. To address these limitations, the integration of knowledge distillation (KD) into FL has been proposed, forming what is known as Federated Distillation (FD). FD enables more flexible knowledge transfer between clients and the server, surpassing the mere sharing of model parameters. By eliminating the need for identical model architectures across clients and the server, FD mitigates the communication costs associated with training large-scale models. This paper aims to offer a comprehensive overview of FD, highlighting its latest advancements. It delves into the fundamental principles underlying the design of FD frameworks, delineates FD approaches for tackling various challenges, and provides insights into the diverse applications of FD across different scenarios.
• Abstract（参考訳）: Federated Learning (FL)は、個々のクライアントからプライベートトレーニングデータを共有せずに、モデルを協調的にトレーニングすることを目指している。 その約束にもかかわらず、FLは大規模モデルの通信コストの高さや、すべてのクライアントとサーバをまたがる統一モデルアーキテクチャの必要性といった課題に直面している。 これらの課題はFLの実用化を厳しく制限した。 これらの制限に対処するため、知識蒸留(KD)をFLに統合し、フェデレート蒸留(FD)と呼ばれるものを形成することが提案されている。 FDはクライアントとサーバ間のより柔軟な知識伝達を可能にし、単なるモデルパラメータの共有を超越します。 クライアントとサーバをまたいだ同一のモデルアーキテクチャの必要性をなくすことで、FDは大規模モデルのトレーニングに関連する通信コストを軽減します。 本稿は、FDの概要を概観し、その最新の進歩を明らかにすることを目的としている。 FDフレームワークの設計の基礎となる基本原則を掘り下げ、さまざまな課題に取り組むためのFDアプローチを明確にし、さまざまなシナリオにおけるFDの多様な応用に関する洞察を提供する。

関連論文リスト

• FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
  我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。 FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。 第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
  論文  参考訳（メタデータ） (2024-08-21T03:16:12Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning [0.5510212613486574]
  Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。 効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
  論文  参考訳（メタデータ） (2024-02-11T20:15:52Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Federated Learning from Pre-Trained Models: A Contrastive Learning Approach [43.893267526525904]
  Federated Learning(FL)は、分散型クライアントがプライベートデータを共有せずに協調的に学習できる機械学習パラダイムである。 過剰な計算と通信要求は、現在のFLフレームワークに課題をもたらす。 本稿では、クライアントが複数の固定された事前学習モデルによって生成された表現を融合させることを共同で学習する軽量フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-21T03:16:57Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。