論文の概要: Adaptive Guidance for Local Training in Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2410.06490v2
• Date: Thu, 30 Jan 2025 06:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:12:50.749711
• Title: Adaptive Guidance for Local Training in Heterogeneous Federated Learning
• Title（参考訳）: 不均一なフェデレーション学習における局所学習のための適応的指導
• Authors: Jianqing Zhang, Yang Liu, Yang Hua, Jian Cao, Qiang Yang,
• Abstract要約: Heterogeneous Federated Learning (HtFL) におけるモデルの不均一性 本稿では,FedL2Gを提案する。 FedL2Gは、最先端の7つの手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 23.92461217732838
• License:
• Abstract: Model heterogeneity poses a significant challenge in Heterogeneous Federated Learning (HtFL). In scenarios with diverse model architectures, directly aggregating model parameters is impractical, leading HtFL methods to incorporate an extra objective alongside the original local objective on each client to facilitate collaboration. However, this often results in a mismatch between the extra and local objectives. To resolve this, we propose Federated Learning-to-Guide (FedL2G), a method that adaptively learns to guide local training in a federated manner, ensuring the added objective aligns with each client's original goal. With theoretical guarantees, FedL2G utilizes only first-order derivatives w.r.t. model parameters, achieving a non-convex convergence rate of O(1/T). We conduct extensive experiments across two data heterogeneity and six model heterogeneity settings, using 14 heterogeneous model architectures (e.g., CNNs and ViTs). The results show that FedL2G significantly outperforms seven state-of-the-art methods.
• Abstract（参考訳）: モデルの不均一性は、異種フェデレートラーニング(HtFL)において重要な課題となる。 多様なモデルアーキテクチャを持つシナリオでは、モデルパラメータを直接集約するのは現実的ではありません。 しかし、これはしばしば余分な目的と局所的な目的の間にミスマッチをもたらす。 そこで本稿では,FedL2G (Federated Learning-to-Guide) を提案する。 理論的な保証により、FedL2Gは1次微分(w.r.t.モデルパラメータ)のみを使用し、O(1/T)の非凸収束速度を達成する。 14の異種モデルアーキテクチャ(例えば、CNN、ViTs)を用いて、2つのデータ不均一性と6つのモデル不均一性設定に関する広範な実験を行う。 その結果,FedL2Gは7つの最先端手法よりも優れていた。

関連論文リスト

• Federated Model Heterogeneous Matryoshka Representation Learning [33.04969829305812]
  モデルヘテロジニアスフェデレーション学習(MteroFL)により、FLクライアントは、異種構造を持つモデルを分散的に訓練することができる。 既存の方法は、MteroFLサーバとクライアントモデルの間で知識を伝達するために、トレーニング損失に依存する。 本研究では,Matryoshkaモデルを用いた教師付き学習タスクのための新しい表現手法を提案する。
  論文  参考訳（メタデータ） (2024-06-01T16:37:08Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
  教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。 7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
  論文  参考訳（メタデータ） (2024-04-27T09:52:59Z)
• Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
  フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。 我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。 4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
  論文  参考訳（メタデータ） (2024-02-22T10:19:34Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Enhancing Representations through Heterogeneous Self-Supervised Learning [61.40674648939691]
  本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。 HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。 HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-08T10:44:05Z)
• Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
  Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。 本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:06:29Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• FedSiam-DA: Dual-aggregated Federated Learning via Siamese Network under Non-IID Data [21.95009868875851]
  フェデレートされた学習は、データアイランドに対処できるが、実際のアプリケーションで不均一なデータでトレーニングすることは依然として困難である。 本稿では,新しい二重集約型コントラスト学習手法であるFedSiam-DAを提案する。
  論文  参考訳（メタデータ） (2022-11-17T09:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。