論文の概要: Adaptive Guidance for Local Training in Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2410.06490v2
• Date: Thu, 30 Jan 2025 06:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:12:50.749711
• Title: Adaptive Guidance for Local Training in Heterogeneous Federated Learning
• Title（参考訳）: 不均一なフェデレーション学習における局所学習のための適応的指導
• Authors: Jianqing Zhang, Yang Liu, Yang Hua, Jian Cao, Qiang Yang,
• Abstract要約: Heterogeneous Federated Learning (HtFL) におけるモデルの不均一性 本稿では,FedL2Gを提案する。 FedL2Gは、最先端の7つの手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 23.92461217732838
• License:
• Abstract: Model heterogeneity poses a significant challenge in Heterogeneous Federated Learning (HtFL). In scenarios with diverse model architectures, directly aggregating model parameters is impractical, leading HtFL methods to incorporate an extra objective alongside the original local objective on each client to facilitate collaboration. However, this often results in a mismatch between the extra and local objectives. To resolve this, we propose Federated Learning-to-Guide (FedL2G), a method that adaptively learns to guide local training in a federated manner, ensuring the added objective aligns with each client's original goal. With theoretical guarantees, FedL2G utilizes only first-order derivatives w.r.t. model parameters, achieving a non-convex convergence rate of O(1/T). We conduct extensive experiments across two data heterogeneity and six model heterogeneity settings, using 14 heterogeneous model architectures (e.g., CNNs and ViTs). The results show that FedL2G significantly outperforms seven state-of-the-art methods.
• Abstract（参考訳）: モデルの不均一性は、異種フェデレートラーニング(HtFL)において重要な課題となる。 多様なモデルアーキテクチャを持つシナリオでは、モデルパラメータを直接集約するのは現実的ではありません。 しかし、これはしばしば余分な目的と局所的な目的の間にミスマッチをもたらす。 そこで本稿では,FedL2G (Federated Learning-to-Guide) を提案する。 理論的な保証により、FedL2Gは1次微分(w.r.t.モデルパラメータ)のみを使用し、O(1/T)の非凸収束速度を達成する。 14の異種モデルアーキテクチャ(例えば、CNN、ViTs)を用いて、2つのデータ不均一性と6つのモデル不均一性設定に関する広範な実験を行う。 その結果,FedL2Gは7つの最先端手法よりも優れていた。

関連論文リスト

• Federated Model Heterogeneous Matryoshka Representation Learning [33.04969829305812]
  モデルヘテロジニアスフェデレーション学習(MteroFL)により、FLクライアントは、異種構造を持つモデルを分散的に訓練することができる。 既存の方法は、MteroFLサーバとクライアントモデルの間で知識を伝達するために、トレーニング損失に依存する。 本研究では,Matryoshkaモデルを用いた教師付き学習タスクのための新しい表現手法を提案する。
  論文  参考訳（メタデータ） (2024-06-01T16:37:08Z)
• pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
  教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。 7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
  論文  参考訳（メタデータ） (2024-04-27T09:52:59Z)
• One-Shot Sequential Federated Learning for Non-IID Data by Enhancing Local Model Diversity [26.09617693587105]
  我々は,局所モデルの多様性向上戦略を提案することにより,非IIDデータに対する一発の逐次フェデレーション学習を改善する。 提案手法は,既存のワンショットPFL法よりも優れた性能を示し,最先端のワンショットSFL法と比較して精度が向上する。
  論文  参考訳（メタデータ） (2024-04-18T12:31:48Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• FedSiam-DA: Dual-aggregated Federated Learning via Siamese Network under Non-IID Data [21.95009868875851]
  フェデレートされた学習は、データアイランドに対処できるが、実際のアプリケーションで不均一なデータでトレーニングすることは依然として困難である。 本稿では,新しい二重集約型コントラスト学習手法であるFedSiam-DAを提案する。
  論文  参考訳（メタデータ） (2022-11-17T09:05:25Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
  フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。 我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。 パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
  論文  参考訳（メタデータ） (2021-01-27T10:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。