論文の概要: Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2102.03198v1
• Date: Fri, 5 Feb 2021 14:32:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-08 12:53:12.491897
• Title: Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning
• Title（参考訳）: 不均質な連合学習のためのバイアス分散低減局所sgd
• Authors: Tomoya Murata, Taiji Suzuki
• Abstract要約: 通信と計算の複雑さの観点から,局所的な学習を効率的に行うことを目的としている。 分散学習における重要な学習シナリオの1つは、フェデレート学習シナリオである。
• 参考スコア（独自算出の注目度）: 46.32232395989181
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is one of the important learning scenarios in distributed learning, in which we aim at learning heterogeneous local datasets efficiently in terms of communication and computational cost. In this paper, we study new local algorithms called Bias-Variance Reduced Local SGD (BVR-L-SGD) for nonconvex federated learning. One of the novelties of this paper is in the analysis of our bias and variance reduced local gradient estimators which fully utilize small second-order heterogeneity of local objectives and suggests to randomly pick up one of the local models instead of taking average of them when workers are synchronized. Under small heterogeneity of local objectives, we show that our methods achieve smaller communication complexity than both the previous non-local and local methods for general nonconvex objectives. Furthermore, we also compare the total execution time, that is the sum of total communication time and total computational time per worker, and show the superiority of our methods to the existing methods when the heterogeneity is small and single communication time is more time consuming than single stochastic gradient computation. Numerical results are provided to verify our theoretical findings and give empirical evidence of the superiority of our algorithms.
• Abstract（参考訳）: フェデレーション学習は分散学習における重要な学習シナリオの1つであり、コミュニケーションと計算コストの観点から異種ローカルデータセットを効率的に学習することを目指している。 本稿では,非凸フェデレーション学習のためのBVR-L-SGD(Bias-Variance Reduced Local SGD)と呼ばれる新しい局所アルゴリズムについて検討する。 本稿では,局所目標の小さな2次不均一性を十分に活用し,作業者の同期時に平均値を取るのではなく,ランダムに局所モデルの1つをピックアップすることを提案し,バイアスと分散を低減した局所勾配推定器の解析を行う。 局所目的の非均質性が小さい場合,従来の非局所目的と局所目的の双方よりも通信の複雑性が小さいことが示された。 さらに、作業者毎の総通信時間と総計算時間の合計である総実行時間を比較し、不均一性が小さく、単一の通信時間の方が1つの確率勾配計算よりも長い時間を要する場合、既存の方法と比較して、我々の手法の優位性を示す。 理論的知見を検証し,アルゴリズムの優越性に関する実証的証拠を与えるため,数値実験を行った。

関連論文リスト

• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Improved Generalization Bounds for Communication Efficient Federated Learning [4.3707341422218215]
  本稿では,一般化境界の探索と表現学習によるフェデレーション学習の通信コストの低減に焦点をあてる。 我々は、一般化境界と表現学習分析に基づいて、適応的局所ステップ付きフェデレートラーニング(FedALS)アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-04-17T21:17:48Z)
• Distributed Learning of Mixtures of Experts [0.0]
  私たちは、自然に分散されたデータセットや、計算を分散する潜在的に大きなデータセットを扱います。 本研究では,データ分散サブセットに並列に適合する局所的推定器から還元推定器を構築するために,専門家(MoE)モデルとアグリゲーション戦略を併用した分散学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:26:13Z)
• Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
  ローカル手法は通信時間を短縮する有望なアプローチの1つである。 局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-12T15:12:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency [15.04034188283642]
  Local SGDは分散学習における通信オーバーヘッドを克服するための有望なアプローチである。 局所sgdaは均質データと異質データの両方において分散ミニマックス問題を確実に最適化できることを示す。
  論文  参考訳（メタデータ） (2021-02-25T20:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。