Fugu-MT 論文翻訳(概要): Global-QSGD: Practical Floatless Quantization for Distributed Learning with Theoretical Guarantees

論文の概要: Global-QSGD: Practical Floatless Quantization for Distributed Learning with Theoretical Guarantees

arxiv url: http://arxiv.org/abs/2305.18627v1
Date: Mon, 29 May 2023 21:32:15 GMT
ステータス: 処理完了
システム内更新日: 2023-05-31 19:07:04.764153
Title: Global-QSGD: Practical Floatless Quantization for Distributed Learning with Theoretical Guarantees
Title（参考訳）: global-qsgd: 理論保証による分散学習のための実用的なフロートレス量子化
Authors: Jihao Xin, Marco Canini, Peter Richt\'arik, Samuel Horv\'ath
Abstract要約: 我々は,グローバルスケールに基づく分散トレーニングを加速するために,量子化演算子の新たなファミリーであるGlobal-QSGDを紹介する。 Global-QSGDは理論上は厳格なAllreduce互換圧縮機構であり、証明可能なスピードアップを実現する。このより広いクラスは、非バイアス圧縮機の標準解析を可能にし、一般的な最適化アルゴリズムの収束を保証する。
参考スコア（独自算出の注目度）: 5.788562461455077
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Efficient distributed training is a principal driver of recent advances in deep learning. However, communication often proves costly and becomes the primary bottleneck in these systems. As a result, there is a demand for the design of efficient communication mechanisms that can empirically boost throughput while providing theoretical guarantees. In this work, we introduce Global-QSGD, a novel family of quantization operators, engineered to accelerate distributed training based on global scaling. We demonstrate that Global-QSGD is the first theoretically rigorous Allreduce-compatible compression mechanism that achieves a provable speed-up by striking a balance between compression error and communication savings. Importantly, Global-QSGD does not rely on costly error feedback due to its inherent unbiasedness and offers up to $O(\sqrt{n})$ additional compression ratio compared to the popular QSGD quantization ($n$ represents the number of workers). To obtain theoretical guarantees, we generalize the notion of standard unbiased compression operators to incorporate Global-QSGD. We show that this wider class permits standard analysis for unbiased compressors and thus ensures convergence for popular optimization algorithms (e.g., distributed SGD) under typical settings. For the empirical component of our work, we carry out a performance modeling analysis to determine if Global-QSGD can enhance training throughput under specific hardware configurations. We also conduct extensive empirical evaluations on various tasks, testing our theory on both NVLink and PCIe connections as well as a large-scale cloud system.
Abstract（参考訳）: 効率的な分散トレーニングは、ディープラーニングの最近の進歩の主要な要因である。しかし、通信はしばしばコストがかかり、これらのシステムの主要なボトルネックとなる。その結果、理論的保証を提供しながらスループットを実証的に向上できる効率的な通信機構の設計が求められている。本稿では,グローバルスケールに基づく分散トレーニングの高速化を目的とした,新しい量子化演算子群global-qsgdを提案する。我々は、Global-QSGDが、圧縮エラーと通信節約のバランスを崩すことで、証明可能なスピードアップを実現する、理論上は厳密なAllreduce互換圧縮機構であることを示した。重要なのは、Global-QSGDは本質的に不偏性のためコストのかかるエラーフィードバックに依存しておらず、一般的なQSGD量子化(n$は労働者数を表す)と比較して最大$O(\sqrt{n})$の圧縮比を提供する。理論的保証を得るため,標準非バイアス圧縮演算子の概念を一般化し,グローバルQSGDを組み込む。このより広いクラスは、非バイアス圧縮機の標準解析を可能にし、一般的な最適化アルゴリズム(例えば分散SGD)の収束を保証する。本研究の実証的なコンポーネントとして,Global-QSGDが特定のハードウェア構成下でのトレーニングスループットを向上させることができるかどうかを判断する性能モデリング分析を行う。また, NVLink と PCIe の接続と大規模クラウドシステムの両方で理論を検証し, 各種タスクに対する広範な実証評価を行った。

関連論文リスト

QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
論文参考訳（メタデータ） (2024-10-08T13:21:48Z)
Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
論文参考訳（メタデータ） (2024-02-19T05:59:09Z)
EControl: Fast Distributed Optimization with Compression and Error Control [8.624830915051021]
フィードバック信号の強度を制御できる新しいメカニズムであるEControlを提案する。 EControlは,本手法の素直な実装を緩和し,本研究の成果を裏付けるものである。
論文参考訳（メタデータ） (2023-11-06T10:00:13Z)
Asynchronous Federated Learning with Incentive Mechanism Based on Contract Theory [5.502596101979607]
本稿では,契約理論に基づくインセンティブ機構を統合した新しい非同期FLフレームワークを提案する。攻撃対象のローカルSGDよりも精度が1.35%向上した。
論文参考訳（メタデータ） (2023-10-10T09:17:17Z)
Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文参考訳（メタデータ） (2023-04-13T10:52:49Z)
On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning [15.300983585090794]
任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
論文参考訳（メタデータ） (2022-01-27T20:43:38Z)
Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory [1.5771347525430772]
連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
論文参考訳（メタデータ） (2022-01-07T20:17:33Z)
Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。ネットワーク環境における圧縮とモデルの精度のトレードオフは未だ不明です各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
論文参考訳（メタデータ） (2021-12-13T14:26:15Z)
Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
論文参考訳（メタデータ） (2021-10-07T09:38:15Z)
Generalizable Mixed-Precision Quantization via Attribution Rank Preservation [90.26603048354575]
効率的な推論のための一般化可能な混合精度量子化法(GMPQ)を提案する。提案手法は,最先端の混合精度ネットワークと比較し,競合精度・複雑度トレードオフを求める。
論文参考訳（メタデータ） (2021-08-05T16:41:57Z)
Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文参考訳（メタデータ） (2021-05-10T08:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。