論文の概要: Communication-Efficient Distributed SGD with Error-Feedback, Revisited
- arxiv url: http://arxiv.org/abs/2003.04706v3
- Date: Mon, 10 May 2021 05:46:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-25 09:26:58.454998
- Title: Communication-Efficient Distributed SGD with Error-Feedback, Revisited
- Title(参考訳): 誤りフィードバックを用いた通信効率の良い分散SGD
- Authors: Tran Thi Phuong, Le Trieu Phong
- Abstract要約: 本稿では, 誤りフィードバックを用いた通信効率の高い分散降下に対するdist-EF-SGDというアルゴリズムの収束証明が数学的に問題であることを示す。
我々は、新しい誤差境界とそれに対応する証明を提供することで問題を修正し、dist-EF-SGDに対する新しい収束率をもたらし、したがって数学的解析を回復する。
- 参考スコア(独自算出の注目度): 4.52308938611108
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show that the convergence proof of a recent algorithm called dist-EF-SGD
for distributed stochastic gradient descent with communication efficiency using
error-feedback of Zheng et al. (NeurIPS 2019) is problematic mathematically.
Concretely, the original error bound for arbitrary sequences of learning rate
is unfortunately incorrect, leading to an invalidated upper bound in the
convergence theorem for the algorithm. As evidences, we explicitly provide
several counter-examples, for both convex and non-convex cases, to show the
incorrectness of the error bound. We fix the issue by providing a new error
bound and its corresponding proof, leading to a new convergence theorem for the
dist-EF-SGD algorithm, and therefore recovering its mathematical analysis.
- Abstract(参考訳): 我々は,Zheng et al. (NeurIPS 2019) の誤りフィードバックを用いた分散確率勾配降下に対するdist-EF-SGDというアルゴリズムの収束証明が数学的に問題的であることを示す。
具体的には、学習速度の任意の順序に縛られた元の誤差は残念ながら誤りであり、アルゴリズムの収束定理の無効な上限となる。
証拠として, 凸と非凸の両方に対して, 誤差境界の誤りを示すいくつかの反例を明示的に提示する。
我々は、新しい誤差境界とそれに対応する証明を提供することで問題を修正し、dist-EF-SGDアルゴリズムの新しい収束定理を導き、したがって数学的解析を復元する。
関連論文リスト
- Taming Nonconvex Stochastic Mirror Descent with General Bregman
Divergence [25.717501580080846]
本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。
トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
論文 参考訳(メタデータ) (2024-02-27T17:56:49Z) - Error analysis of generative adversarial network [0.0]
本稿では、識別器とジェネレータニューラルネットワークを含む関数のクラスに基づいて、GANモデルの誤差収束率について検討する。
タラグランドの不等式とボレル・カンテッリ補題を用いることで、GANの誤差に対する厳密な収束率を確立する。
論文 参考訳(メタデータ) (2023-10-23T22:39:28Z) - Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳(メタデータ) (2023-10-18T10:29:58Z) - Can Decentralized Stochastic Minimax Optimization Algorithms Converge
Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。
本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-24T02:19:39Z) - Online Learning with Adversaries: A Differential-Inclusion Analysis [52.43460995467893]
我々は,完全に非同期なオンラインフェデレート学習のための観察行列ベースのフレームワークを提案する。
我々の主な結果は、提案アルゴリズムがほぼ確実に所望の平均$mu.$に収束することである。
新たな差分包摂型2時間スケール解析を用いて,この収束を導出する。
論文 参考訳(メタデータ) (2023-04-04T04:32:29Z) - MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。
本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。
この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
論文 参考訳(メタデータ) (2022-09-26T12:04:49Z) - An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural
Network with Group Sparsity [13.27709100571336]
近年,グループ正規化期間を持つリーク型ReLUネットワークが広く利用されている。
定常点を決定論的に計算する手法が存在しないことを示す。
本稿では,新しいモデルを解くための不正確な拡張ラグランジアンアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-11T11:53:15Z) - Accelerated and instance-optimal policy evaluation with linear function
approximation [17.995515643150657]
既存のアルゴリズムはこれらの下界の少なくとも1つと一致しない。
我々は,両下界を同時に一致させる高速時間差分アルゴリズムを開発し,インスタンス最適性という強い概念を実現する。
論文 参考訳(メタデータ) (2021-12-24T17:21:04Z) - Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth
Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。
定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。
我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文 参考訳(メタデータ) (2021-06-30T18:32:46Z) - Linearly Converging Error Compensated SGD [11.436753102510647]
本稿では、任意の圧縮と遅延更新を伴う分散SGDの変種を統一的に解析する。
我々のフレームワークは、量子化されたSGD、ErrorCompensated SGD、SGDの様々な変種をカバーするのに十分である。
我々は、分散還元や任意のサンプリングと誤りフィードバックと量子化を組み合わせたSGDの新しい変種を開発する。
論文 参考訳(メタデータ) (2020-10-23T10:46:31Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳(メタデータ) (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。