論文の概要: Factor-Assisted Federated Learning for Personalized Optimization with
Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2312.04281v1
- Date: Thu, 7 Dec 2023 13:05:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 14:53:45.139489
- Title: Factor-Assisted Federated Learning for Personalized Optimization with
Heterogeneous Data
- Title（参考訳）: 不均一データを用いたパーソナライズ最適化のための因子支援連合学習
- Authors: Feifei Wang, Huiyun Tang, Yang Li
- Abstract要約: フェデレートラーニング(Federated Learning)は、データプライバシ保護を目的とした、新興の分散機械学習フレームワークである。
異なるクライアントのデータには、共通の知識とパーソナライズされた知識の両方が含まれている。
我々は、FedSplitと呼ばれる異種データのための、新しい個人化されたフェデレーション学習フレームワークを開発した。
- 参考スコア（独自算出の注目度）: 6.024145412139383
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is an emerging distributed machine learning framework
aiming at protecting data privacy. Data heterogeneity is one of the core
challenges in federated learning, which could severely degrade the convergence
rate and prediction performance of deep neural networks. To address this issue,
we develop a novel personalized federated learning framework for heterogeneous
data, which we refer to as FedSplit. This modeling framework is motivated by
the finding that, data in different clients contain both common knowledge and
personalized knowledge. Then the hidden elements in each neural layer can be
split into the shared and personalized groups. With this decomposition, a novel
objective function is established and optimized. We demonstrate FedSplit
enjoyers a faster convergence speed than the standard federated learning method
both theoretically and empirically. The generalization bound of the FedSplit
method is also studied. To practically implement the proposed method on real
datasets, factor analysis is introduced to facilitate the decoupling of hidden
elements. This leads to a practically implemented model for FedSplit and we
further refer to as FedFac. We demonstrated by simulation studies that, using
factor analysis can well recover the underlying shared/personalized
decomposition. The superior prediction performance of FedFac is further
verified empirically by comparison with various state-of-the-art federated
learning methods on several real datasets.
- Abstract（参考訳）: Federated Learningは、データプライバシ保護を目的とした、新興の分散機械学習フレームワークである。
データの不均一性は、深層ニューラルネットワークの収束率と予測性能を著しく低下させる、連合学習における中核的な課題の1つである。
この問題に対処するため、我々はFedSplitと呼ぶ異種データのための新しい個人化フェデレーション学習フレームワークを開発した。
このモデリングフレームワークは、異なるクライアント内のデータが共通の知識とパーソナライズされた知識の両方を含んでいることを発見することによって動機づけられる。
次に、各神経層内の隠れた要素を共有グループとパーソナライズグループに分割することができる。
この分解により、新しい目的関数が確立され、最適化される。
本研究では,federated learning法よりも,理論上,経験的に,より高速な収束速度を示す。
FedSplit法の一般化境界についても検討した。
実データセット上で提案手法を実践するために,隠れた要素の疎結合を容易にする因子分析を導入した。
これにより、事実上FedSplitのモデルが実装され、さらにFedFacと呼ばれます。
シミュレーションにより,因子分析を用いることで,下位の共有/パーソナライズ分解を回復できることを実証した。
FedFacの優れた予測性能は、複数の実データセット上の様々な最先端のフェデレーション学習手法との比較により実証的に検証される。
関連論文リスト
- An Empirical Study of Efficiency and Privacy of Federated Learning
Algorithms [2.994794762377111]
今日の世界では、IoTネットワークの急速な拡大とスマートデバイスの普及により、相当量の異種データが生成される。
このデータを効果的に扱うためには、プライバシーと効率の両立を保証するために高度なデータ処理技術が必要である。
フェデレーション学習は、モデルをローカルにトレーニングし、データをプライバシを保存するためにサーバに集約する分散学習手法として登場した。
論文 参考訳（メタデータ） (2023-12-24T00:13:41Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - FedIN: Federated Intermediate Layers Learning for Model Heterogeneity [7.781409257429762]
フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。
本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。
実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
論文 参考訳（メタデータ） (2023-04-03T07:20:43Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - An Empirical Study of Personalized Federated Learning [8.641606056228675]
フェデレートラーニング(Federated Learning)とは、単一のサーバと複数のクライアントが、クライアントでデータセットを共有することなく、共同で機械学習モデルを構築する分散機械学習アプローチである。
この問題に対処するため、多数のフェデレーション学習手法は、パーソナライズされたフェデレーション学習を目標とし、クライアント向けに最適化されたモデルを構築する。
個人化されたフェデレート学習手法が最高のパフォーマンスを達成するのか、これらの手法が標準的(非個人化された)フェデレート学習ではなく、どの程度の進歩を達成できるかは明らかでない。
論文 参考訳（メタデータ） (2022-06-27T11:08:16Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Improving Federated Relational Data Modeling via Basis Alignment and
Weight Penalty [18.096788806121754]
近年,フェデレートラーニング(FL)が注目されている。
知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。
我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。
実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
論文 参考訳（メタデータ） (2020-11-23T12:52:18Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳（メタデータ） (2020-03-28T19:55:24Z) - FedDANE: A Federated Newton-Type Method [49.9423212899788]
フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。
我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
論文 参考訳（メタデータ） (2020-01-07T07:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。