論文の概要: A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex
Models and Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2303.00179v1
- Date: Wed, 1 Mar 2023 02:13:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 16:19:29.068265
- Title: A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex
Models and Heterogeneous Data
- Title(参考訳): 非凸モデルと不均一データのための分散SGDの統一モーメントベースパラダイム
- Authors: Haizhou Du and Chengdong Ni
- Abstract要約: 非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。
理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
- 参考スコア(独自算出の注目度): 0.261072980439312
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Emerging distributed applications recently boosted the development of
decentralized machine learning, especially in IoT and edge computing fields. In
real-world scenarios, the common problems of non-convexity and data
heterogeneity result in inefficiency, performance degradation, and development
stagnation. The bulk of studies concentrates on one of the issues mentioned
above without having a more general framework that has been proven optimal. To
this end, we propose a unified paradigm called UMP, which comprises two
algorithms, D-SUM and GT-DSUM, based on the momentum technique with
decentralized stochastic gradient descent(SGD). The former provides a
convergence guarantee for general non-convex objectives. At the same time, the
latter is extended by introducing gradient tracking, which estimates the global
optimization direction to mitigate data heterogeneity(i.e., distribution
drift). We can cover most momentum-based variants based on the classical heavy
ball or Nesterov's acceleration with different parameters in UMP. In theory, we
rigorously provide the convergence analysis of these two approaches for
non-convex objectives and conduct extensive experiments, demonstrating a
significant improvement in model accuracy by up to 57.6% compared to other
methods in practice.
- Abstract(参考訳): 分散アプリケーションの新興により、特にIoTやエッジコンピューティング分野において、分散機械学習の開発が促進された。
現実のシナリオでは、非凸性とデータ不均一性の一般的な問題は非効率性、性能劣化、開発停滞をもたらす。
多くの研究は、上述した問題の1つに集中しており、より一般的なフレームワークが最適であることが証明されている。
そこで本研究では,分散確率勾配降下法(sgd)を用いた運動量法に基づいて,d-sum と gt-dsum という2つのアルゴリズムを組み合わせた統一パラダイムを提案する。
前者は一般の非凸目的に対して収束保証を提供する。
同時に、データの不均一性(すなわち分布ドリフト)を緩和するために、グローバル最適化方向を推定する勾配追跡を導入することで、後者を拡張する。
古典的な重球やネステロフの加速度に基づく運動量に基づく変種のほとんどは、umpの異なるパラメータでカバーできる。
理論的には、これらの2つのアプローチの非凸目的に対する収束解析を厳格に提供し、より広範な実験を行い、実際の他の手法と比較して57.6%の精度でモデル精度が向上したことを示す。
関連論文リスト
- Stability and Generalization of the Decentralized Stochastic Gradient
Descent Ascent Algorithm [80.94861441583275]
本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。
本研究は,D-SGDAの一般化における各因子の影響を解析した。
また、最適凸凹設定を得るために一般化とバランスをとる。
論文 参考訳(メタデータ) (2023-10-31T11:27:01Z) - Exact nonlinear state estimation [0.0]
地質学におけるデータ同化法の大部分はガウスの仮定に基づいている。
非パラメトリックな粒子ベースDAアルゴリズムは精度が優れているが、高次元モデルへの応用は依然として運用上の課題となっている。
本稿では,DA手法の既存のギャップを埋めようとする新しい非線形推定理論を紹介する。
論文 参考訳(メタデータ) (2023-10-17T03:44:29Z) - Tackling Data Heterogeneity: A New Unified Framework for Decentralized
SGD with Sample-induced Topology [6.6682038218782065]
我々は,経験的リスク最小化問題に対して,勾配に基づく最適化手法を統一する汎用フレームワークを開発した。
本稿では,SAGA,Local-SVRG,GT-SAGAなどの分散還元(VR)および勾配追跡(GT)手法の統一的な視点を提供する。
その結果、VRとGTの手法は、それぞれデバイス内およびデバイス間のデータを効果的に排除し、アルゴリズムを最適解に正確に収束させることができることがわかった。
論文 参考訳(メタデータ) (2022-07-08T07:50:08Z) - BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。
近年の進歩により、観測データからDAGの有効最大点推定が可能となった。
線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
論文 参考訳(メタデータ) (2021-12-06T03:35:21Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳(メタデータ) (2021-04-12T16:23:37Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳(メタデータ) (2021-01-06T17:36:26Z) - Gradient Descent Averaging and Primal-dual Averaging for Strongly Convex
Optimization [15.731908248435348]
強凸の場合の勾配降下平均化と主双進平均化アルゴリズムを開発する。
一次二重平均化は出力平均化の観点から最適な収束率を導出し、SC-PDAは最適な個々の収束を導出する。
SVMとディープラーニングモデルに関するいくつかの実験は、理論解析の正確性とアルゴリズムの有効性を検証する。
論文 参考訳(メタデータ) (2020-12-29T01:40:30Z) - Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。
我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文 参考訳(メタデータ) (2020-07-15T05:01:23Z) - A Unified Theory of Decentralized SGD with Changing Topology and Local
Updates [70.9701218475002]
分散通信方式の統一収束解析を導入する。
いくつかの応用に対して普遍収束率を導出する。
私たちの証明は弱い仮定に依存している。
論文 参考訳(メタデータ) (2020-03-23T17:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。