Fugu-MT 論文翻訳(概要): FedL2G: Learning to Guide Local Training in Heterogeneous Federated Learning

論文の概要: FedL2G: Learning to Guide Local Training in Heterogeneous Federated Learning

arxiv url: http://arxiv.org/abs/2410.06490v1
Date: Wed, 9 Oct 2024 02:31:49 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 05:29:07.039638
Title: FedL2G: Learning to Guide Local Training in Heterogeneous Federated Learning
Title（参考訳）: FedL2G:不均一なフェデレーション学習におけるローカルトレーニングの指導
Authors: Jianqing Zhang, Yang Liu, Yang Hua, Jian Cao, Qiang Yang,
Abstract要約: 不均一フェデレートラーニング(HtFL)のシナリオでは、モデルパラメータの集約は、アグリゲーションとガイダンスのためのプロトタイプの使用につながる。本研究では,ローカル設定のガイドを適応的に学習し,クライアントの本来の設定に付加的なガイダンスが有用であることを保証できるFedL2G(Training-to-Guide)手法を提案する。
参考スコア（独自算出の注目度）: 23.92461217732838
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Data and model heterogeneity are two core issues in Heterogeneous Federated Learning (HtFL). In scenarios with heterogeneous model architectures, aggregating model parameters becomes infeasible, leading to the use of prototypes (i.e., class representative feature vectors) for aggregation and guidance. However, they still experience a mismatch between the extra guiding objective and the client's original local objective when aligned with global prototypes. Thus, we propose a Federated Learning-to-Guide (FedL2G) method that adaptively learns to guide local training in a federated manner and ensures the extra guidance is beneficial to clients' original tasks. With theoretical guarantees, FedL2G efficiently implements the learning-to-guide process using only first-order derivatives w.r.t. model parameters and achieves a non-convex convergence rate of O(1/T). We conduct extensive experiments on two data heterogeneity and six model heterogeneity settings using 14 heterogeneous model architectures (e.g., CNNs and ViTs) to demonstrate FedL2G's superior performance compared to six counterparts.
Abstract（参考訳）: データとモデルの不均一性は、HtFL(Heterogeneous Federated Learning)の2つの中核的な問題である。異種モデルアーキテクチャのシナリオでは、アグリゲーションモデルパラメータは実現不可能となり、アグリゲーションとガイダンスにプロトタイプ(クラス代表的特徴ベクトル)が使用される。しかし、彼らはグローバルプロトタイプに合わせると、余分な誘導目標とクライアントの本来のローカル目標とのミスマッチを経験します。そこで本稿では,FedL2G(Federated Learning-to-Guide)手法を提案する。理論的な保証により、FedL2Gは1次微分(英語版) w.r.t. モデルパラメータのみを用いて学習と誘導のプロセスを効率的に実装し、O(1/T)の非凸収束率を達成する。我々は14の異種モデルアーキテクチャ(例えば、CNN、ViT)を用いて、2つのデータ不均一性と6つのモデル不均一性設定に関する広範な実験を行い、FedL2Gの性能を6つのモデルと比較した。

関連論文リスト

Federated Model Heterogeneous Matryoshka Representation Learning [33.04969829305812]
モデルヘテロジニアスフェデレーション学習(MteroFL)により、FLクライアントは、異種構造を持つモデルを分散的に訓練することができる。既存の方法は、MteroFLサーバとクライアントモデルの間で知識を伝達するために、トレーニング損失に依存する。本研究では,Matryoshkaモデルを用いた教師付き学習タスクのための新しい表現手法を提案する。
論文参考訳（メタデータ） (2024-06-01T16:37:08Z)
pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。 7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
論文参考訳（メタデータ） (2024-04-27T09:52:59Z)
One-Shot Sequential Federated Learning for Non-IID Data by Enhancing Local Model Diversity [26.09617693587105]
我々は,局所モデルの多様性向上戦略を提案することにより,非IIDデータに対する一発の逐次フェデレーション学習を改善する。提案手法は,既存のワンショットPFL法よりも優れた性能を示し,最先端のワンショットSFL法と比較して精度が向上する。
論文参考訳（メタデータ） (2024-04-18T12:31:48Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2023-12-10T18:49:59Z)
Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
論文参考訳（メタデータ） (2023-07-07T08:19:40Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
FedSiam-DA: Dual-aggregated Federated Learning via Siamese Network under Non-IID Data [21.95009868875851]
フェデレートされた学習は、データアイランドに対処できるが、実際のアプリケーションで不均一なデータでトレーニングすることは依然として困難である。本稿では,新しい二重集約型コントラスト学習手法であるFedSiam-DAを提案する。
論文参考訳（メタデータ） (2022-11-17T09:05:25Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
論文参考訳（メタデータ） (2021-01-27T10:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。