論文の概要: Communication-efficient Variance-reduced Stochastic Gradient Descent
- arxiv url: http://arxiv.org/abs/2003.04686v1
- Date: Tue, 10 Mar 2020 13:22:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 21:47:26.558978
- Title: Communication-efficient Variance-reduced Stochastic Gradient Descent
- Title（参考訳）: 通信効率ばらつき低減確率勾配降下
- Authors: Hossein S. Ghadikolaei and Sindri Magnusson
- Abstract要約: 通信効率のよい分散最適化の問題を考える。
特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。
実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of communication efficient distributed optimization
where multiple nodes exchange important algorithm information in every
iteration to solve large problems. In particular, we focus on the stochastic
variance-reduced gradient and propose a novel approach to make it
communication-efficient. That is, we compress the communicated information to a
few bits while preserving the linear convergence rate of the original
uncompressed algorithm. Comprehensive theoretical and numerical analyses on
real datasets reveal that our algorithm can significantly reduce the
communication complexity, by as much as 95\%, with almost no noticeable
penalty. Moreover, it is much more robust to quantization (in terms of
maintaining the true minimizer and the convergence rate) than the
state-of-the-art algorithms for solving distributed optimization problems. Our
results have important implications for using machine learning over
internet-of-things and mobile networks.
- Abstract（参考訳）: 複数のノードが各イテレーションで重要なアルゴリズム情報を交換して大きな問題を解決する通信効率のよい分散最適化の問題を考える。
特に,確率的分散還元勾配に着目し,通信効率を高めるための新しい手法を提案する。
すなわち、元の非圧縮アルゴリズムの線形収束率を維持しながら、通信された情報を数ビットに圧縮する。
実データ集合の包括的理論的および数値的解析により,本アルゴリズムは通信の複雑さを最大 95 % 削減できることを明らかにした。
さらに、分散最適化問題を解くための最先端アルゴリズムよりも、量子化(真の最小値と収束率の維持の観点から)がはるかに堅牢である。
この結果は,モノのインターネットやモバイルネットワーク上での機械学習利用に重要な意味を持つ。
関連論文リスト
- Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。
提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
論文 参考訳（メタデータ） (2024-06-12T17:53:28Z) - Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification [50.406127962933915]
ACOWAは、小さなランタイムの増加とともに、顕著に優れた近似品質を達成するための追加の通信を可能にする。
その結果、ACOWAは経験的リスク最小化に忠実で、他の分散アルゴリズムよりもかなり高い精度で解が得られることがわかった。
論文 参考訳（メタデータ） (2024-06-03T19:43:06Z) - Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks [57.24087627267086]
通信ネットワークのノード間で分散的に格納された凸関数の総和を最小化するタスクについて検討する。
この問題を解決するのに必要な分散通信数と(サブ)漸進計算の下位境界が確立されている。
我々は,これらの下界に適合する最初の最適アルゴリズムを開発し,既存の最先端技術と比較して理論性能を著しく向上させる。
論文 参考訳（メタデータ） (2024-05-28T10:28:45Z) - Quantization Avoids Saddle Points in Distributed Optimization [1.579622195923387]
分散非最適化は、多くの分散システムの重要な機能を支える。
本研究の目的は,サドル点収束を2次定常点収束に効果的に回避できることを示すことである。
簡単に調整可能な量子化により、ユーザの制御により、通信オーバーヘッドを積極的に削減できる。
論文 参考訳（メタデータ） (2024-03-15T15:58:20Z) - Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。
$varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。
この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
論文 参考訳（メタデータ） (2021-10-24T04:03:00Z) - DESTRESS: Computation-Optimal and Communication-Efficient Decentralized
Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。
非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。
詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文 参考訳（メタデータ） (2021-10-04T03:17:41Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z) - Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。
また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
論文 参考訳（メタデータ） (2020-09-05T21:44:39Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Multi-consensus Decentralized Accelerated Gradient Descent [31.76773130271547]
分散凸最適化問題は、大規模機械学習、センサーネットワーク、制御理論に幅広い応用がある。
本稿では,最適な計算複雑性とほぼ最適な通信複雑性を実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-05-02T11:10:32Z) - Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。
モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。
本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-23T18:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。