Fugu-MT 論文翻訳(概要): Fed2: Feature-Aligned Federated Learning

論文の概要: Fed2: Feature-Aligned Federated Learning

arxiv url: http://arxiv.org/abs/2111.14248v1
Date: Sun, 28 Nov 2021 22:21:48 GMT
ステータス: 処理完了
システム内更新日: 2021-12-01 06:46:55.369654
Title: Fed2: Feature-Aligned Federated Learning
Title（参考訳）: fed2: 機能連携型フェデレーション学習
Authors: Fuxun Yu, Weishan Zhang, Zhuwei Qin, Zirui Xu, Di Wang, Chenchen Liu, Zhi Tian, Xiang Chen
Abstract要約: フェデレーション学習は、ローカルノードから協調モデルを融合させることで、散在するデータから学習する。我々は,Fed2を提案する。Fed2は,構造・機能整合性を確立することで,この問題を解決するための機能整合型学習フレームワークである。 Fed2は、広範囲な同種および異種設定下でのフェデレーション学習収束性能を効果的に向上させることができる。
参考スコア（独自算出の注目度）: 32.54574459692627
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning learns from scattered data by fusing collaborative models from local nodes. However, the conventional coordinate-based model averaging by FedAvg ignored the random information encoded per parameter and may suffer from structural feature misalignment. In this work, we propose Fed2, a feature-aligned federated learning framework to resolve this issue by establishing a firm structure-feature alignment across the collaborative models. Fed2 is composed of two major designs: First, we design a feature-oriented model structure adaptation method to ensure explicit feature allocation in different neural network structures. Applying the structure adaptation to collaborative models, matchable structures with similar feature information can be initialized at the very early training stage. During the federated learning process, we then propose a feature paired averaging scheme to guarantee aligned feature distribution and maintain no feature fusion conflicts under either IID or non-IID scenarios. Eventually, Fed2 could effectively enhance the federated learning convergence performance under extensive homo- and heterogeneous settings, providing excellent convergence speed, accuracy, and computation/communication efficiency.
Abstract（参考訳）: フェデレーション学習は、ローカルノードからの協調モデルを用いて分散データから学習する。しかし、FedAvgによる従来の座標モデル平均化は、パラメータ毎に符号化されたランダム情報を無視し、構造的特徴の不一致に悩まされる可能性がある。本稿では,協調モデルにまたがる構造的アライメントを確立することにより,この問題を解決するための機能整合型フェデレート学習フレームワークであるFed2を提案する。第一に、異なるニューラルネットワーク構造における明示的な特徴割り当てを保証するために、特徴指向モデル構造適応法を設計する。協調モデルに構造適応を適用することで、類似した特徴情報を持つマッチング可能な構造を、非常に初期のトレーニング段階で初期化することができる。フェデレーション学習の過程において,特徴分布の整合を保証し,iidまたは非iidシナリオにおいて特徴融合の競合を維持できない特徴対平均化スキームを提案する。最終的にFed2は、広範な均質および異質な設定下でのフェデレーション学習収束性能を効果的に向上させ、収束速度、精度、計算/通信効率に優れたものを提供する。

関連論文リスト

Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2024-01-16T12:45:15Z)
Fed-CO2: Cooperation of Online and Offline Models for Severe Data Heterogeneity in Federated Learning [14.914477928398133]
フェデレートラーニング(FL)は、有望な分散ラーニングパラダイムとして登場した。 FLの有効性は、トレーニングに使われているデータの品質に大きく依存する。ラベル分布スキューと特徴スキューの両方を扱う普遍的なFLフレームワークであるFed-CO$_2$を提案する。
論文参考訳（メタデータ） (2023-12-21T15:12:12Z)
Factor-Assisted Federated Learning for Personalized Optimization with Heterogeneous Data [6.024145412139383]
フェデレートラーニング(Federated Learning)は、データプライバシ保護を目的とした、新興の分散機械学習フレームワークである。異なるクライアントのデータには、共通の知識とパーソナライズされた知識の両方が含まれている。我々は、FedSplitと呼ばれる異種データのための、新しい個人化されたフェデレーション学習フレームワークを開発した。
論文参考訳（メタデータ） (2023-12-07T13:05:47Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
FedX: Unsupervised Federated Learning with Cross Knowledge Distillation [70.73383643450548]
FedXは教師なしのフェデレーション学習フレームワークである。分散化および異質なローカルデータからバイアスのない表現を学ぶ。フェデレートされた設定で、既存の教師なしアルゴリズムのアドオンモジュールとして使用できる。
論文参考訳（メタデータ） (2022-07-19T09:56:44Z)
AFAFed -- Protocol analysis [3.016628653955123]
これは、ストリーム指向IoTアプリケーション環境のための新しいFair Federated Adaptive Learningフレームワークである。我々は収束特性を分析し、AFAFedの実装面に対処する。
論文参考訳（メタデータ） (2022-06-29T22:12:08Z)
Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文参考訳（メタデータ） (2022-06-14T13:12:12Z)
Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文参考訳（メタデータ） (2021-12-12T06:11:16Z)
Robustness and Personalization in Federated Learning: A Unified Approach via Regularization [4.7234844467506605]
我々は、Fed+と呼ばれる堅牢でパーソナライズされたフェデレーション学習のための一連の方法を提案する。 Fed+の主な利点は、フェデレートトレーニングで見られる現実世界の特徴をよりよく適応することである。ベンチマークデータセットに関する広範な実験を通じて、Fed+の利点を実証する。
論文参考訳（メタデータ） (2020-09-14T10:04:30Z)
Heterogeneous Federated Learning [41.04946606973614]
フェデレーション学習は、ローカルノードから協調モデルを融合させることで、散在するデータから学習する。カオス的な情報分布のため、モデル融合は未整合パラメータに関する構造的不整合に悩まされる可能性がある。本稿では,協調モデル間の強固な構造情報アライメントを確立するための,新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-08-15T19:06:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。