論文の概要: From Local SGD to Local Fixed-Point Methods for Federated Learning
- arxiv url: http://arxiv.org/abs/2004.01442v2
- Date: Tue, 16 Jun 2020 17:42:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 04:11:28.325099
- Title: From Local SGD to Local Fixed-Point Methods for Federated Learning
- Title（参考訳）: フェデレートラーニングのための局所SGDから局所固定点法へ
- Authors: Grigory Malinovsky, Dmitry Kovalev, Elnur Gasanov, Laurent Condat,
Peter Richt\'arik
- Abstract要約: 分散環境で,演算子の平均点の固定点,あるいは近似を求めるという一般的な問題を考える。
このようなコンセンサスを達成するための2つの戦略について検討する。一方は局所的なステップの固定数に基づくもので、もう一方はランダム化された計算に基づくものである。
- 参考スコア（独自算出の注目度）: 17.04886864943171
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most algorithms for solving optimization problems or finding saddle points of
convex-concave functions are fixed-point algorithms. In this work we consider
the generic problem of finding a fixed point of an average of operators, or an
approximation thereof, in a distributed setting. Our work is motivated by the
needs of federated learning. In this context, each local operator models the
computations done locally on a mobile device. We investigate two strategies to
achieve such a consensus: one based on a fixed number of local steps, and the
other based on randomized computations. In both cases, the goal is to limit
communication of the locally-computed variables, which is often the bottleneck
in distributed frameworks. We perform convergence analysis of both methods and
conduct a number of experiments highlighting the benefits of our approach.
- Abstract（参考訳）: 最適化問題を解くアルゴリズムや凸凹関数のサドル点を見つけるアルゴリズムは固定点アルゴリズムである。
本研究では,分散環境において,作用素の平均の不動点,あるいはその近似点を求めるという一般的な問題を考える。
私たちの仕事は連合学習の必要性に動機づけられている。
この文脈では、各ローカルオペレータは、モバイルデバイス上でローカルに実行される計算をモデル化する。
このようなコンセンサスを実現するための2つの戦略について検討する。1つは一定数の局所ステップに基づいており、もう1つはランダムな計算に基づいている。
どちらの場合でも、目標はローカルに計算された変数の通信を制限することにある。
両手法の収束解析を行い,提案手法の利点を浮き彫りにした実験を多数実施する。
関連論文リスト
- ML-based identification of the interface regions for coupling local and nonlocal models [0.0]
局所非局所カップリングアプローチは、局所モデルの計算効率と非局所モデルの精度を組み合わせる。
本研究では,局所モデルと非局所モデルを用いるべき領域を自動的に検出する機械学習アプローチを提案する。
論文 参考訳（メタデータ） (2024-04-23T14:19:36Z) - A Geometric Approach to $k$-means [17.933546927589685]
本稿では、望ましくないローカルソリューションをエスケープするための一般的なアルゴリズムフレームワークを提案する。
本稿では,これらのステップの実装について議論し,提案手法が$k$-meansアルゴリズムの変種をどのように統合するかを明らかにする。
論文 参考訳（メタデータ） (2022-01-13T07:47:50Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳（メタデータ） (2021-09-06T12:04:08Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳（メタデータ） (2021-06-08T15:54:44Z) - Bias-Variance Reduced Local SGD for Less Heterogeneous Federated
Learning [46.32232395989181]
通信と計算の複雑さの観点から,局所的な学習を効率的に行うことを目的としている。
分散学習における重要な学習シナリオの1つは、フェデレート学習シナリオである。
論文 参考訳（メタデータ） (2021-02-05T14:32:28Z) - Local SGD: Unified Theory and New Efficient Methods [8.701566919381223]
本稿では,局所的なSGD手法を凸型および強凸型で解析するための統一的なフレームワークを提案する。
我々は,データ均一性や他の強い仮定を必要としない,線形収束型局所SGD法を開発した。
論文 参考訳（メタデータ） (2020-11-03T13:02:50Z) - Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。
本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。
実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
論文 参考訳（メタデータ） (2020-07-20T12:07:48Z) - Local Stochastic Approximation: A Unified View of Federated Learning and
Distributed Multi-Task Reinforcement Learning Algorithms [1.52292571922932]
エージェントのネットワーク上での局所近似について検討し、エージェントのローカル演算子からなる演算子のルートを見つけることを目的とする。
我々は,各エージェントのデータをマルコフプロセスから生成し,従って依存する場合に,この手法の有限時間性能を特徴付けることに重点を置いている。
論文 参考訳（メタデータ） (2020-06-24T04:05:11Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z) - Second-Order Guarantees in Centralized, Federated and Decentralized
Nonconvex Optimization [64.26238893241322]
単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。
いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。
これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
論文 参考訳（メタデータ） (2020-03-31T16:54:22Z) - A General Method for Robust Learning from Batches [56.59844655107251]
本稿では,バッチから頑健な学習を行う一般的なフレームワークについて考察し,連続ドメインを含む任意の領域に対する分類と分布推定の限界について考察する。
本手法は,一括分節分類,一括分節,単調,対数凹,ガウス混合分布推定のための,最初の頑健な計算効率の学習アルゴリズムを導出する。
論文 参考訳（メタデータ） (2020-02-25T18:53:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。