Fugu-MT 論文翻訳(概要): FedL2G: Learning to Guide Local Training in Heterogeneous Federated Learning

論文の概要: FedL2G: Learning to Guide Local Training in Heterogeneous Federated Learning

arxiv url: http://arxiv.org/abs/2410.06490v1
Date: Wed, 9 Oct 2024 02:31:49 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 05:29:07.039638
Title: FedL2G: Learning to Guide Local Training in Heterogeneous Federated Learning
Title（参考訳）: FedL2G:不均一なフェデレーション学習におけるローカルトレーニングの指導
Authors: Jianqing Zhang, Yang Liu, Yang Hua, Jian Cao, Qiang Yang,
Abstract要約: 不均一フェデレートラーニング(HtFL)のシナリオでは、モデルパラメータの集約は、アグリゲーションとガイダンスのためのプロトタイプの使用につながる。本研究では,ローカル設定のガイドを適応的に学習し,クライアントの本来の設定に付加的なガイダンスが有用であることを保証できるFedL2G(Training-to-Guide)手法を提案する。
参考スコア（独自算出の注目度）: 23.92461217732838
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Data and model heterogeneity are two core issues in Heterogeneous Federated Learning (HtFL). In scenarios with heterogeneous model architectures, aggregating model parameters becomes infeasible, leading to the use of prototypes (i.e., class representative feature vectors) for aggregation and guidance. However, they still experience a mismatch between the extra guiding objective and the client's original local objective when aligned with global prototypes. Thus, we propose a Federated Learning-to-Guide (FedL2G) method that adaptively learns to guide local training in a federated manner and ensures the extra guidance is beneficial to clients' original tasks. With theoretical guarantees, FedL2G efficiently implements the learning-to-guide process using only first-order derivatives w.r.t. model parameters and achieves a non-convex convergence rate of O(1/T). We conduct extensive experiments on two data heterogeneity and six model heterogeneity settings using 14 heterogeneous model architectures (e.g., CNNs and ViTs) to demonstrate FedL2G's superior performance compared to six counterparts.
Abstract（参考訳）: データとモデルの不均一性は、HtFL(Heterogeneous Federated Learning)の2つの中核的な問題である。異種モデルアーキテクチャのシナリオでは、アグリゲーションモデルパラメータは実現不可能となり、アグリゲーションとガイダンスにプロトタイプ(クラス代表的特徴ベクトル)が使用される。しかし、彼らはグローバルプロトタイプに合わせると、余分な誘導目標とクライアントの本来のローカル目標とのミスマッチを経験します。そこで本稿では,FedL2G(Federated Learning-to-Guide)手法を提案する。理論的な保証により、FedL2Gは1次微分(英語版) w.r.t. モデルパラメータのみを用いて学習と誘導のプロセスを効率的に実装し、O(1/T)の非凸収束率を達成する。我々は14の異種モデルアーキテクチャ(例えば、CNN、ViT)を用いて、2つのデータ不均一性と6つのモデル不均一性設定に関する広範な実験を行い、FedL2Gの性能を6つのモデルと比較した。

関連論文リスト

Federated Model Heterogeneous Matryoshka Representation Learning [33.04969829305812]
モデルヘテロジニアスフェデレーション学習(MteroFL)により、FLクライアントは、異種構造を持つモデルを分散的に訓練することができる。既存の方法は、MteroFLサーバとクライアントモデルの間で知識を伝達するために、トレーニング損失に依存する。本研究では,Matryoshkaモデルを用いた教師付き学習タスクのための新しい表現手法を提案する。
論文参考訳（メタデータ） (2024-06-01T16:37:08Z)
Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
論文参考訳（メタデータ） (2024-05-26T13:11:55Z)
pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。 7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
論文参考訳（メタデータ） (2024-04-27T09:52:59Z)
Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。 4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
論文参考訳（メタデータ） (2024-02-22T10:19:34Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2023-12-10T18:49:59Z)
Enhancing Representations through Heterogeneous Self-Supervised Learning [61.40674648939691]
本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。 HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。 HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-10-08T10:44:05Z)
Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-22T04:06:29Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
FedSiam-DA: Dual-aggregated Federated Learning via Siamese Network under Non-IID Data [21.95009868875851]
フェデレートされた学習は、データアイランドに対処できるが、実際のアプリケーションで不均一なデータでトレーニングすることは依然として困難である。本稿では,新しい二重集約型コントラスト学習手法であるFedSiam-DAを提案する。
論文参考訳（メタデータ） (2022-11-17T09:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。