論文の概要: Distributed and Stochastic Optimization Methods with Gradient
Compression and Local Steps
- arxiv url: http://arxiv.org/abs/2112.10645v1
- Date: Mon, 20 Dec 2021 16:12:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-21 18:24:12.527813
- Title: Distributed and Stochastic Optimization Methods with Gradient
Compression and Local Steps
- Title（参考訳）: 勾配圧縮と局所ステップを用いた分散確率最適化法
- Authors: Eduard Gorbunov
- Abstract要約: 本稿では,誤差補償と局所的な更新を伴う解析および分散手法に関する理論的枠組みを提案する。
線形収束型Error-pensated法と分散型Local-SGD法を含む20以上の新しい最適化手法を開発した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this thesis, we propose new theoretical frameworks for the analysis of
stochastic and distributed methods with error compensation and local updates.
Using these frameworks, we develop more than 20 new optimization methods,
including the first linearly converging Error-Compensated SGD and the first
linearly converging Local-SGD for arbitrarily heterogeneous local functions.
Moreover, the thesis contains several new distributed methods with unbiased
compression for distributed non-convex optimization problems. The derived
complexity results for these methods outperform the previous best-known results
for the considered problems. Finally, we propose a new scalable decentralized
fault-tolerant distributed method, and under reasonable assumptions, we derive
the iteration complexity bounds for this method that match the ones of
centralized Local-SGD.
- Abstract（参考訳）: 本稿では,誤差補償と局所更新を伴う確率的および分散的手法の解析のための新しい理論的枠組みを提案する。
これらのフレームワークを用いて、誤り補償型sgdと、任意に不均一な局所関数に対して最初の線形収束型sgdを含む20以上の新しい最適化手法を開発した。
さらに, 分散非凸最適化問題に対して, 非バイアス圧縮を用いた分散手法がいくつか提案されている。
これらの手法の導出された複雑性結果は, 従来で最もよく知られた問題に対する結果よりも優れていた。
最後に,スケーラブルな分散フォールトトレラント分散手法を提案する。合理的な仮定の下では,集中型ローカルsgd法に適合するこの手法の反復複雑性境界を導出する。
関連論文リスト
- Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise [96.80184504268593]
グラデーション、クリッピングは、優れた高確率保証を導き出すアルゴリズムの鍵となる要素の1つである。
クリッピングは、合成および分散最適化の一般的な方法の収束を損なう可能性がある。
論文 参考訳（メタデータ） (2023-10-03T07:49:17Z) - Resource-Adaptive Newton's Method for Distributed Learning [16.588456212160928]
本稿では,Newtonの手法の限界を克服するRANLというアルゴリズムを提案する。
従来の一階法とは異なり、RANLは問題の条件数から著しく独立している。
論文 参考訳（メタデータ） (2023-08-20T04:01:30Z) - Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient
Methods [73.35353358543507]
SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。
本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。
本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
論文 参考訳（メタデータ） (2022-02-15T09:17:39Z) - Distributionally Robust Federated Averaging [19.875176871167966]
適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。
我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
論文 参考訳（メタデータ） (2021-02-25T03:32:09Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳（メタデータ） (2020-06-11T18:49:06Z) - FedSplit: An algorithmic framework for fast federated optimization [40.42352500741025]
本稿では,分散凸最小化を付加構造で解くアルゴリズムのクラスであるFedSplitを紹介する。
これらの手法は, 中間局所量の不正確な計算に対して, 確実に堅牢であることを示す。
論文 参考訳（メタデータ） (2020-05-11T16:30:09Z) - Optimization in Machine Learning: A Distribution Space Approach [16.038814087205143]
本稿では,機械学習における最適化問題は,関数空間上の凸関数を最小化するものとして解釈されることが多い。
空間分布における凸最適化問題と同様に、適切な緩和によってそのような問題を再現する。
本研究では,混合分布に基づく数値アルゴリズムを開発し,分布空間で直接近似最適化を行う。
論文 参考訳（メタデータ） (2020-04-18T13:38:06Z) - A Unified Theory of Decentralized SGD with Changing Topology and Local
Updates [70.9701218475002]
分散通信方式の統一収束解析を導入する。
いくつかの応用に対して普遍収束率を導出する。
私たちの証明は弱い仮定に依存している。
論文 参考訳（メタデータ） (2020-03-23T17:49:15Z) - Majorization Minimization Methods for Distributed Pose Graph
Optimization with Convergence Guarantees [0.76146285961466]
提案手法は軽度条件下で一階臨界点に収束することが保証されていることを示す。
提案手法は分散PGOの近位演算子に依存するため,収束速度を著しく向上させることができる。
この研究の有効性は、2Dおよび3D SLAMデータセットの応用を通じて検証される。
論文 参考訳（メタデータ） (2020-03-11T15:18:33Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。