論文の概要: On Communication Compression for Distributed Optimization on
Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2009.02388v2
- Date: Tue, 22 Dec 2020 09:41:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 02:01:40.882044
- Title: On Communication Compression for Distributed Optimization on
Heterogeneous Data
- Title(参考訳): 不均一データの分散最適化のための通信圧縮について
- Authors: Sebastian U. Stich
- Abstract要約: 機械学習モデルの分散トレーニングにおいて、通信ボトルネックを回避するために、ロッシー勾配圧縮が重要なツールとなっている。
i) 任意の非バイアス量子化器を用いた分散量子化SGDと(ii) エラーフィードバックとバイアス圧縮器を用いた分散SGDの2種類の標準および一般的な手法の性能解析を行う。
以上の結果から,D-EF-SGDは非IDデータによるD-QSGDよりも影響を受けないことがわかった。
- 参考スコア(独自算出の注目度): 28.197694894254305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lossy gradient compression, with either unbiased or biased compressors, has
become a key tool to avoid the communication bottleneck in centrally
coordinated distributed training of machine learning models. We analyze the
performance of two standard and general types of methods: (i) distributed
quantized SGD (D-QSGD) with arbitrary unbiased quantizers and (ii) distributed
SGD with error-feedback and biased compressors (D-EF-SGD) in the heterogeneous
(non-iid) data setting. Our results indicate that D-EF-SGD is much less
affected than D-QSGD by non-iid data, but both methods can suffer a slowdown if
data-skewness is high. We further study two alternatives that are not (or much
less) affected by heterogenous data distributions: first, a recently proposed
method that is effective on strongly convex problems, and secondly, we point
out a more general approach that is applicable to linear compressors only but
effective in all considered scenarios.
- Abstract(参考訳): 偏りのない圧縮機と偏りのない圧縮機を併用したロッシー勾配圧縮は、中央に調整された機械学習モデルの分散トレーニングにおける通信ボトルネックを回避する重要なツールとなっている。
2種類の標準および一般的な手法の性能を分析した。
(i)任意の非バイアス量子化器と分散量子化SGD(D-QSGD)
(II)不均質(非イド)データ設定における誤差フィードバックとバイアス圧縮機(D-EF-SGD)を用いた分散SGD。
以上の結果から,D-EF-SGDは非IDデータによるD-QSGDよりも影響を受けないことがわかった。
さらに, 異種データ分布の影響を受けない(あるいはそれ以下)2つの方法について検討する: まず, 強凸問題に有効である最近提案された手法, 次に, 線形圧縮機に適用可能なより一般的な手法を, 全てのシナリオにおいて有効であることを示す。
関連論文リスト
- Communication-Efficient Distributed Learning with Local Immediate Error
Compensation [95.6828475028581]
本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。
LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
論文 参考訳(メタデータ) (2024-02-19T05:59:09Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - DAGC: Data-Volume-Aware Adaptive Sparsification Gradient Compression for
Distributed Machine Learning in Mobile Computing [21.740516733221437]
本研究では,非一様圧縮による分散機械学習の解析を紹介する。
本稿では,大容量データを扱う作業者に保守的圧縮を割り当てるDAGC-Rを提案する。
実験により,DAGC-AとDAGC-Rの両者が,高度に不均衡なデータボリューム分布と制限された通信を扱う場合,良好な性能が得られることを確認した。
論文 参考訳(メタデータ) (2023-11-13T13:24:09Z) - EControl: Fast Distributed Optimization with Compression and Error
Control [8.624830915051021]
フィードバック信号の強度を制御できる新しいメカニズムであるEControlを提案する。
EControlは,本手法の素直な実装を緩和し,本研究の成果を裏付けるものである。
論文 参考訳(メタデータ) (2023-11-06T10:00:13Z) - DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over
Graphs [54.08445874064361]
本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。
Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。
提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
論文 参考訳(メタデータ) (2022-08-29T18:01:42Z) - EF-BV: A Unified Theory of Error Feedback and Variance Reduction
Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。
圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。
本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-09T10:44:23Z) - Federated Random Reshuffling with Compression and Variance Reduction [0.0]
ランダムリシャッフル(RR)は、経験的リスク最小化を通じて教師付き機械学習モデルをトレーニングするための非常に一般的な方法である。
組み込みであり、しばしば標準の機械学習ソフトウェアでデフォルトとして設定される。
我々はFedRRをさらに改善するための3つの新しいアルゴリズムを紹介した。1つはシャッフルによる分散を、もう1つは圧縮による分散をモデル化する。
論文 参考訳(メタデータ) (2022-05-08T16:46:11Z) - Distributed Methods with Absolute Compression and Error Compensation [1.52292571922932]
コミュニケーション圧縮はこの問題を緩和するための強力なアプローチである。
本稿では,任意のサンプリング戦略に対する絶対圧縮によるEC-SGDの解析を一般化する。
この設定では、以前知られていたものよりも私たちのレートが向上します。
論文 参考訳(メタデータ) (2022-03-04T15:41:14Z) - Effective Data-aware Covariance Estimator from Compressed Data [63.16042585506435]
本研究では,データ対応重み付きサンプリングベース共分散行列推定器,すなわち DACE を提案し,非バイアス共分散行列推定を行う。
我々は、DACEの優れた性能を示すために、合成データセットと実世界のデータセットの両方で広範な実験を行う。
論文 参考訳(メタデータ) (2020-10-10T10:10:28Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳(メタデータ) (2020-07-01T04:35:00Z) - On Biased Compression for Distributed Learning [55.89300593805943]
バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。
理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
論文 参考訳(メタデータ) (2020-02-27T19:52:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。