論文の概要: Federated Learning with Manifold Regularization and Normalized Update
Reaggregation
- arxiv url: http://arxiv.org/abs/2311.05924v1
- Date: Fri, 10 Nov 2023 08:14:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 15:46:11.213243
- Title: Federated Learning with Manifold Regularization and Normalized Update
Reaggregation
- Title（参考訳）: マニフォールド正規化と正規化更新集約によるフェデレーション学習
- Authors: Xuming An, Li Shen, Han Hu, Yong Luo
- Abstract要約: Federated Learning(FL)は、複数のクライアントが独自のデータセットを共有することなくグローバルモデルをトレーニングする、コラボレーティブな機械学習フレームワークである。
FLでは、クライアント間でのローカルデータによるモデルの不整合は、クライアント更新のほぼ直交性をもたらす。
我々は、新しい多様体モデル融合方式と、負の影響を緩和する新たなグローバルアップデートを採用することにより、FedMRURを提案する。
- 参考スコア（独自算出の注目度）: 22.885899072143676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is an emerging collaborative machine learning
framework where multiple clients train the global model without sharing their
own datasets. In FL, the model inconsistency caused by the local data
heterogeneity across clients results in the near-orthogonality of client
updates, which leads to the global update norm reduction and slows down the
convergence. Most previous works focus on eliminating the difference of
parameters (or gradients) between the local and global models, which may fail
to reflect the model inconsistency due to the complex structure of the machine
learning model and the Euclidean space's limitation in meaningful geometric
representations. In this paper, we propose FedMRUR by adopting the manifold
model fusion scheme and a new global optimizer to alleviate the negative
impacts. Concretely, FedMRUR adopts a hyperbolic graph manifold regularizer
enforcing the representations of the data in the local and global models are
close to each other in a low-dimensional subspace. Because the machine learning
model has the graph structure, the distance in hyperbolic space can reflect the
model bias better than the Euclidean distance. In this way, FedMRUR exploits
the manifold structures of the representations to significantly reduce the
model inconsistency. FedMRUR also aggregates the client updates norms as the
global update norm, which can appropriately enlarge each client's contribution
to the global update, thereby mitigating the norm reduction introduced by the
near-orthogonality of client updates. Furthermore, we theoretically prove that
our algorithm can achieve a linear speedup property for non-convex setting
under partial client participation.Experiments demonstrate that FedMRUR can
achieve a new state-of-the-art (SOTA) accuracy with less communication.
- Abstract（参考訳）: Federated Learning(FL)は、複数のクライアントが独自のデータセットを共有することなくグローバルモデルをトレーニングする、新たなコラボレーティブ機械学習フレームワークである。
flでは、クライアント間のローカルデータの不均一性に起因するモデルの不整合が、クライアント更新の直交性に近い結果となり、グローバル更新規範の低減と収束の低下につながる。
これまでのほとんどの研究は、機械学習モデルの複雑な構造と有意な幾何学的表現におけるユークリッド空間の制限のためにモデルの不整合を反映できないかもしれない局所的モデルと大域的モデルの間のパラメータ(あるいは勾配)の差を取り除くことに重点を置いている。
本稿では, 多様体モデル融合方式と, 負の影響を緩和する新しい大域最適化手法を用いてFedMRURを提案する。
具体的には、FedMRURは局所モデルと大域モデルのデータの表現を低次元部分空間で互いに近接させる双曲グラフ多様体正規化器を採用する。
機械学習モデルはグラフ構造を持つため、双曲空間における距離はユークリッド距離よりもモデルバイアスを良く反映することができる。
このように、FedMRURは表現の多様体構造を利用してモデルの不整合を著しく減少させる。
FedMRURはまた、クライアントの更新ノルムをグローバルアップデートノルムとして集約することで、各クライアントのグローバルアップデートへのコントリビューションを適切に拡大し、クライアント更新のほぼ直交性によってもたらされるノルムの削減を緩和することができる。
さらに,提案アルゴリズムは,部分的クライアント参加下での非凸設定に対して線形高速化特性を達成できることを理論的に証明し,FedMRURがより少ない通信で新しい最先端(SOTA)の精度を達成できることを実証した。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳（メタデータ） (2023-05-19T10:47:44Z) - Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination [33.12164201146458]
我々はFedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。
FedMRの目標は、フラットな領域に向けてトレーニングされる組換えモデルをガイドすることである。
最先端のFL手法と比較して、FedMRは各クライアントのプライバシを公開することなく、推論精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2023-05-18T05:58:24Z) - Understanding and Improving Model Averaging in Federated Learning on Heterogeneous Data [9.792805355704203]
We study the loss landscape of model averaging in Federated Learning (FL)。
我々は,グローバルモデルの損失を,クライアントモデルに関連する5つの要因に分解する。
我々は,IMAを訓練後期のグローバルモデルに利用して,期待する速度からの偏差を低減することを提案する。
論文 参考訳（メタデータ） (2023-05-13T06:19:55Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳（メタデータ） (2022-10-01T09:04:17Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳（メタデータ） (2022-01-28T08:42:43Z) - Federated Submodel Optimization for Hot and Cold Data Features [41.99190452773989]
我々は,クライアントの非d.d.データに疎結合な特徴があり,特定のクライアントのローカルデータは通常,モデルのごく一部に限られる,フェデレート学習の基礎となる実践的データ特性について検討する。
データ分散のため、古典的なフェデレーション平均化(FedAvg)アルゴリズムやその変種は大幅に遅くなる。
フェデレートされたサブモデル平均化(FedSubAvg)を提案し、各モデルパラメータのグローバル更新の期待値がクライアントのローカル更新の平均値に等しいことを保証する。
論文 参考訳（メタデータ） (2021-09-16T03:54:54Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。