論文の概要: DAGC: Data-Volume-Aware Adaptive Sparsification Gradient Compression for
Distributed Machine Learning in Mobile Computing
- arxiv url: http://arxiv.org/abs/2311.07324v1
- Date: Mon, 13 Nov 2023 13:24:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 14:09:29.086070
- Title: DAGC: Data-Volume-Aware Adaptive Sparsification Gradient Compression for
Distributed Machine Learning in Mobile Computing
- Title(参考訳): dagc: モバイルコンピューティングにおける分散機械学習のためのデータボリュームアウェア適応スパーシフィケーション勾配圧縮
- Authors: Rongwei Lu, Yutong Jiang, Yinan Mao, Chen Tang, Bin Chen, Laizhong
Cui, Zhi Wang
- Abstract要約: 本研究では,非一様圧縮による分散機械学習の解析を紹介する。
本稿では,大容量データを扱う作業者に保守的圧縮を割り当てるDAGC-Rを提案する。
実験により,DAGC-AとDAGC-Rの両者が,高度に不均衡なデータボリューム分布と制限された通信を扱う場合,良好な性能が得られることを確認した。
- 参考スコア(独自算出の注目度): 21.740516733221437
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Distributed machine learning (DML) in mobile environments faces significant
communication bottlenecks. Gradient compression has emerged as an effective
solution to this issue, offering substantial benefits in environments with
limited bandwidth and metered data. Yet, they encounter severe performance drop
in non-IID environments due to a one-size-fits-all compression approach, which
does not account for the varying data volumes across workers. Assigning varying
compression ratios to workers with distinct data distributions and volumes is
thus a promising solution. This study introduces an analysis of distributed SGD
with non-uniform compression, which reveals that the convergence rate
(indicative of the iterations needed to achieve a certain accuracy) is
influenced by compression ratios applied to workers with differing volumes.
Accordingly, we frame relative compression ratio assignment as an $n$-variables
chi-square nonlinear optimization problem, constrained by a fixed and limited
communication budget. We propose DAGC-R, which assigns the worker handling
larger data volumes the conservative compression. Recognizing the computational
limitations of mobile devices, we DAGC-A, which are computationally less
demanding and enhances the robustness of the absolute gradient compressor in
non-IID scenarios. Our experiments confirm that both the DAGC-A and DAGC-R can
achieve better performance when dealing with highly imbalanced data volume
distribution and restricted communication.
- Abstract(参考訳): モバイル環境における分散機械学習(DML)は、重要な通信ボトルネックに直面している。
グラディエント圧縮はこの問題に対する効果的な解決策として現れており、帯域幅と計測データに制限のある環境においてかなりの利点を提供している。
しかし、労働者間で異なるデータボリュームを考慮しないワンサイズ圧縮アプローチのため、非IID環境では厳しいパフォーマンス低下が発生している。
したがって、異なるデータ分布とボリュームを持つワーカーに異なる圧縮比を割り当てることは、有望な解決策である。
本研究では,非一様圧縮を伴う分散sgdの解析を行い,異なるボリュームの作業者に適用した圧縮比が収束率(特定の精度を達成するのに必要なイテレーションを示す)に与える影響を明らかにする。
そこで我々は,n$-variablesのカイ二乗非線形最適化問題として,固定的かつ限定的な通信予算で制約された相対圧縮比の割り当てを行う。
本稿では,大容量データを扱う作業者に保守的圧縮を割り当てるDAGC-Rを提案する。
モバイル機器の計算限界を認識したDAGC-Aは,非IIDシナリオにおける絶対勾配圧縮機のロバスト性を向上させる。
実験により,DAGC-AとDAGC-Rの両者が,高度に不均衡なデータボリューム分布と制限された通信を扱う場合,良好な性能が得られることを確認した。
関連論文リスト
- Communication-Efficient Distributed Learning with Local Immediate Error
Compensation [95.6828475028581]
本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。
LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
論文 参考訳(メタデータ) (2024-02-19T05:59:09Z) - Accelerating Distributed Deep Learning using Lossless Homomorphic
Compression [17.654138014999326]
本稿では,ワーカレベルの圧縮とネットワーク内アグリゲーションを効果的に融合する新しい圧縮アルゴリズムを提案する。
集約のスループットが6.33$times$改善され、イテレーションごとのトレーニング速度が3.74$times$アップします。
論文 参考訳(メタデータ) (2024-02-12T09:57:47Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳(メタデータ) (2024-02-07T16:32:29Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳(メタデータ) (2024-02-06T07:25:21Z) - Activations and Gradients Compression for Model-Parallel Training [91.12425544503395]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳(メタデータ) (2024-01-15T15:54:54Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳(メタデータ) (2023-04-07T13:41:08Z) - Quantization for Distributed Optimization [0.0]
本稿では,バニラSGDの性能を維持しながら通信オーバヘッドを大幅に低減する全リデュース勾配対応圧縮方式を提案する。
我々の圧縮手法は、現在ディープラーニングフレームワークによって提供されている工法よりも優れています。
論文 参考訳(メタデータ) (2021-09-26T05:16:12Z) - On Communication Compression for Distributed Optimization on
Heterogeneous Data [28.197694894254305]
機械学習モデルの分散トレーニングにおいて、通信ボトルネックを回避するために、ロッシー勾配圧縮が重要なツールとなっている。
i) 任意の非バイアス量子化器を用いた分散量子化SGDと(ii) エラーフィードバックとバイアス圧縮器を用いた分散SGDの2種類の標準および一般的な手法の性能解析を行う。
以上の結果から,D-EF-SGDは非IDデータによるD-QSGDよりも影響を受けないことがわかった。
論文 参考訳(メタデータ) (2020-09-04T20:48:08Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳(メタデータ) (2020-08-04T09:14:52Z) - Bidirectional compression in heterogeneous settings for distributed or
federated learning with partial participation: tight convergence guarantees [9.31522898261934]
Artemisは、コミュニケーション制約とデバイス部分的な参加を伴う分散環境での学習問題を解決するためのフレームワークである。
これは、一方向圧縮(サーバへの)のみを考慮する既存のアルゴリズムを改善したり、圧縮演算子に非常に強い仮定を用いており、デバイスの部分的な参加を考慮していないことが多い。
論文 参考訳(メタデータ) (2020-06-25T17:37:45Z) - Domain Adaptation Regularization for Spectral Pruning [44.060724281001775]
ドメイン適応(DA)は、ラベル付きソースディストリビューションで学んだ知識を、おそらくラベルなしのターゲットディストリビューションに転送することで、この問題に対処する。
提案手法は,DA設定における既存の圧縮手法よりも高い圧縮率を示す。
本研究は1つの特定の圧縮法に基づくものであるが、DA設定における圧縮を改善するための一般的なガイドラインについても概説する。
論文 参考訳(メタデータ) (2019-12-26T12:38:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。