論文の概要: Tailored Federated Learning: Leveraging Direction Regulation & Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2409.19741v1
• Date: Sun, 29 Sep 2024 15:39:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 21:19:41.225593
• Title: Tailored Federated Learning: Leveraging Direction Regulation & Knowledge Distillation
• Title（参考訳）: Tailored Federated Learning: 方向性規制と知識蒸留の活用
• Authors: Huidong Tang, Chen Li, Huachong Yu, Sayaka Kamei, Yasuhiko Morimoto,
• Abstract要約: フェデレーション学習は、医療のようなプライバシーに敏感な領域において、変革的なトレーニングパラダイムとして登場した。 本稿では,モデルデルタ正則化,パーソナライズされたモデル,フェデレーションド・ナレッジ・蒸留,ミックスプールを統合したFL最適化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 2.1670850691529275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) has emerged as a transformative training paradigm, particularly invaluable in privacy-sensitive domains like healthcare. However, client heterogeneity in data, computing power, and tasks poses a significant challenge. To address such a challenge, we propose an FL optimization algorithm that integrates model delta regularization, personalized models, federated knowledge distillation, and mix-pooling. Model delta regularization optimizes model updates centrally on the server, efficiently updating clients with minimal communication costs. Personalized models and federated knowledge distillation strategies are employed to tackle task heterogeneity effectively. Additionally, mix-pooling is introduced to accommodate variations in the sensitivity of readout operations. Experimental results demonstrate the remarkable accuracy and rapid convergence achieved by model delta regularization. Additionally, the federated knowledge distillation algorithm notably improves FL performance, especially in scenarios with diverse data. Moreover, mix-pooling readout operations provide tangible benefits for clients, showing the effectiveness of our proposed methods.
• Abstract（参考訳）: フェデレートラーニング(FL)は、特に医療のようなプライバシーに敏感な分野において、変革的なトレーニングパラダイムとして登場した。 しかし、データ、計算能力、タスクにおけるクライアントの不均一性は重大な課題である。 このような課題に対処するため、モデルデルタ正則化、パーソナライズされたモデル、フェデレーションされた知識蒸留、混合プールを統合するFL最適化アルゴリズムを提案する。 モデルデルタ正則化は、サーバ上のモデル更新を集中的に最適化し、最小の通信コストでクライアントを効率的に更新する。 タスクの不均一性に効果的に取り組むために、パーソナライズドモデルとフェデレーションド知識蒸留戦略が採用されている。 さらに、読み出し操作の感度の変動に対応するためにミックスプーリングが導入されている。 実験結果は,モデルデルタ正則化によって達成された顕著な精度と迅速な収束を示す。 さらに,フェデレートド・ナレッジ蒸留アルゴリズムはFL性能,特に多様なデータを持つシナリオにおいて顕著に向上する。 さらに,ミキシング・プール・リードアウト・オペレーションは,提案手法の有効性を示すとともに,クライアントにとって有意義なメリットを提供する。

関連論文リスト

• Lightweight Industrial Cohorted Federated Learning for Heterogeneous Assets [0.0]
  フェデレーテッド・ラーニング(FL)は、分散機械学習(ML)モデルをトレーニングするための最も広く採用されているコラボレーティブ・ラーニング・アプローチである。 しかし、すべてのFLタスクにおいて、大きなデータ類似性や均質性は認められているため、FLは産業環境では特に設計されていない。 本稿では,コホーティングにモデルパラメータを用いる軽量産業用コホーテッドFL (licFL) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-25T12:48:56Z)
• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedD2S: Personalized Data-Free Federated Knowledge Distillation [19.975420988169454]
  本稿では,知識蒸留を活用した個人化フェデレートラーニング(pFL)のためのFedD2Sという新しい手法を提案する。 FedD2Sは、データフリーな知識蒸留プロセスにディープ・ツー・シャロー・レイヤ・ドロップング機構を組み込んで、局所モデルパーソナライズを強化している。 提案手法は,クライアント間の収束の高速化と公平性の向上を特徴とする,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-16T17:36:51Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
  フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。 本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。 この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-09-16T11:30:29Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。