Fugu-MT 論文翻訳(概要): Federated Learning over Connected Modes

論文の概要: Federated Learning over Connected Modes

arxiv url: http://arxiv.org/abs/2403.03333v2
Date: Fri, 21 Jun 2024 12:43:12 GMT
ステータス: 処理完了
システム内更新日: 2024-06-24 19:36:33.476280
Title: Federated Learning over Connected Modes
Title（参考訳）: 接続モードによるフェデレーション学習
Authors: Dennis Grinwald, Philipp Wiesner, Shinichi Nakajima,
Abstract要約: 我々はコネクテッドモード(textscFloco)上でのフェデレーション学習を提案する。クライアントは、勾配信号に基づいて、このシンプルさの局所部分領域を割り当て、共有グローバルソリューションの単純さを共に学習する。実験の結果,textscFlocoはグローバルトレーニングプロセスを加速し,計算オーバーヘッドを最小限に抑えて局所的精度を大幅に向上することがわかった。
参考スコア（独自算出の注目度）: 5.382740428160009
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Statistical heterogeneity in federated learning poses two major challenges: slow global training due to conflicting gradient signals, and the need of personalization for local distributions. In this work, we tackle both challenges by leveraging recent advances in \emph{linear mode connectivity} -- identifying a linearly connected low-loss region in the weight space of neural networks, which we call solution simplex. We propose federated learning over connected modes (\textsc{Floco}), where clients are assigned local subregions in this simplex based on their gradient signals, and together learn the shared global solution simplex. This allows personalization of the client models to fit their local distributions within the degrees of freedom in the solution simplex and homogenizes the update signals for the global simplex training. Our experiments show that \textsc{Floco} accelerates the global training process, and significantly improves the local accuracy with minimal computational overhead.
Abstract（参考訳）: フェデレート学習における統計的不均一性は、対立する勾配信号によるグローバルトレーニングの遅さと、局所的な分布に対するパーソナライズの必要性の2つの大きな課題を生じさせる。本研究では,ニューラルネットワークの重み空間において,線形に連結された低損失領域を同定し,解単純性(solution simplex)と呼ぶ。接続モード上でのフェデレーション学習(\textsc{Floco})を提案し、クライアントに勾配信号に基づいて局所的な部分領域を割り当て、共有グローバルソリューションの単純さを学習する。これにより、クライアントモデルのパーソナライズは、ソリューションのシンプルさの度合いに局所的な分布を適合させ、グローバルなシンプルさのトレーニングのための更新シグナルを均質化する。実験の結果, textsc{Floco} はグローバルトレーニングプロセスを加速し, 計算オーバーヘッドを最小限に抑えて局所的精度を大幅に向上することがわかった。

関連論文リスト

Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
論文参考訳（メタデータ） (2024-05-31T05:21:12Z)
Gradient-Congruity Guided Federated Sparse Training [31.793271982853188]
Federated Learning(FL)は、データプライバシを保持しながら、このプロセスを容易にする分散機械学習技術である。 FLはまた、リソース制約のあるデバイスに関する高い計算コストや通信コストといった課題に直面している。本研究では,動的スパーストレーニングと勾配一致検査を統合したFedSGC(Gradient-Congruity Guided Federated Sparse Training)を提案する。
論文参考訳（メタデータ） (2024-05-02T11:29:48Z)
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文参考訳（メタデータ） (2024-02-17T05:22:46Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文参考訳（メタデータ） (2023-01-25T03:18:10Z)
SphereFed: Hyperspherical Federated Learning [22.81101040608304]
主な課題は、複数のクライアントにまたがる非i.i.d.データの処理である。非i.d.問題に対処するために,超球面フェデレートラーニング(SphereFed)フレームワークを導入する。ローカルデータに直接アクセスすることなく, キャリブレーションの解を効率的に, 分散的に計算できることを示す。
論文参考訳（メタデータ） (2022-07-19T17:13:06Z)
FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文参考訳（メタデータ） (2022-03-22T14:06:26Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
論文参考訳（メタデータ） (2021-12-28T18:13:09Z)
Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文参考訳（メタデータ） (2021-05-26T18:07:19Z)
Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
論文参考訳（メタデータ） (2020-05-26T12:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。