論文の概要: Federated Learning over Connected Modes

• arxiv url: http://arxiv.org/abs/2403.03333v3
• Date: Thu, 31 Oct 2024 14:37:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:56:24.519338
• Title: Federated Learning over Connected Modes
• Title（参考訳）: 接続モードによるフェデレーション学習
• Authors: Dennis Grinwald, Philipp Wiesner, Shinichi Nakajima,
• Abstract要約: 我々はコネクテッドモード(textscFloco)上でのフェデレーション学習を提案する。 クライアントは、勾配信号に基づいて、このシンプルさの局所部分領域を割り当て、共有グローバルソリューションの単純さを共に学習する。 実験により、textscFlocoはグローバルトレーニングプロセスを加速し、計算オーバーヘッドを最小限に抑えて局所的精度を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 5.382740428160009
• License:
• Abstract: Statistical heterogeneity in federated learning poses two major challenges: slow global training due to conflicting gradient signals, and the need of personalization for local distributions. In this work, we tackle both challenges by leveraging recent advances in \emph{linear mode connectivity} -- identifying a linearly connected low-loss region in the parameter space of neural networks, which we call solution simplex. We propose federated learning over connected modes (\textsc{Floco}), where clients are assigned local subregions in this simplex based on their gradient signals, and together learn the shared global solution simplex. This allows personalization of the client models to fit their local distributions within the degrees of freedom in the solution simplex and homogenizes the update signals for the global simplex training. Our experiments show that \textsc{Floco} accelerates the global training process, and significantly improves the local accuracy with minimal computational overhead in cross-silo federated learning settings.
• Abstract（参考訳）: フェデレート学習における統計的不均一性は、対立する勾配信号によるグローバルトレーニングの遅さと、局所的な分布に対するパーソナライズの必要性の2つの大きな課題を生じさせる。 本研究では,ニューラルネットワークのパラメータ空間において,線形に連結された低損失領域を同定し,解単純性(solution simplex)と呼ぶ。 接続モード上でのフェデレーション学習(\textsc{Floco})を提案し、クライアントに勾配信号に基づいて局所的な部分領域を割り当て、共有グローバルソリューションの単純さを学習する。 これにより、クライアントモデルのパーソナライズは、ソリューションのシンプルさの度合いに局所的な分布を適合させ、グローバルなシンプルさのトレーニングのための更新シグナルを均質化する。 実験の結果,「textsc{Floco}」はグローバルな学習過程を加速し,クロスサイロ・フェデレーション学習環境における計算オーバーヘッドを最小限に抑えながら,局所的精度を大幅に向上させることがわかった。

関連論文リスト

• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• Gradient-Congruity Guided Federated Sparse Training [31.793271982853188]
  Federated Learning(FL)は、データプライバシを保持しながら、このプロセスを容易にする分散機械学習技術である。 FLはまた、リソース制約のあるデバイスに関する高い計算コストや通信コストといった課題に直面している。 本研究では,動的スパーストレーニングと勾配一致検査を統合したFedSGC(Gradient-Congruity Guided Federated Sparse Training)を提案する。
  論文  参考訳（メタデータ） (2024-05-02T11:29:48Z)
• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation [32.36334319329364]
  クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。 近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。 地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T00:07:29Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• SphereFed: Hyperspherical Federated Learning [22.81101040608304]
  主な課題は、複数のクライアントにまたがる非i.i.d.データの処理である。 非i.d.問題に対処するために,超球面フェデレートラーニング(SphereFed)フレームワークを導入する。 ローカルデータに直接アクセスすることなく, キャリブレーションの解を効率的に, 分散的に計算できることを示す。
  論文  参考訳（メタデータ） (2022-07-19T17:13:06Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
  非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる 地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。 提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
  論文  参考訳（メタデータ） (2021-12-28T18:13:09Z)
• Tackling the Local Bias in Federated Graph Learning [48.887310972708036]
  フェデレーショングラフ学習(FGL)では、グローバルグラフは異なるクライアントに分散し、各クライアントがサブグラフを保持する。 既存のFGL手法では、クロスクライアントエッジを効果的に活用できず、トレーニング中に構造情報が失われる。 集中型環境で訓練されたモデルと類似した局所モデルを作成するための新しいFGLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-22T08:22:36Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。