論文の概要: Truncated Non-Uniform Quantization for Distributed SGD
- arxiv url: http://arxiv.org/abs/2402.01160v1
- Date: Fri, 2 Feb 2024 05:59:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 16:37:03.721637
- Title: Truncated Non-Uniform Quantization for Distributed SGD
- Title(参考訳): 分散sgdのための切断非一様量子化
- Authors: Guangfeng Yan, Tan Li, Yuanzhang Xiao, Congduan Li and Linqi Song
- Abstract要約: 分散勾配Descent(SGD)の通信効率を高めるための新しい2段階量子化戦略を導入する。
提案手法は, 当初, 長い尾音の影響を軽減するためにトラニケーションを用いており, 続いて, 統計的特性に基づいて, トラニケーション後の勾配の均一な量子化を行う。
提案アルゴリズムは既存の量子化方式よりも優れており,通信効率と収束性能のバランスが優れている。
- 参考スコア(独自算出の注目度): 17.30572818507568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To address the communication bottleneck challenge in distributed learning,
our work introduces a novel two-stage quantization strategy designed to enhance
the communication efficiency of distributed Stochastic Gradient Descent (SGD).
The proposed method initially employs truncation to mitigate the impact of
long-tail noise, followed by a non-uniform quantization of the post-truncation
gradients based on their statistical characteristics. We provide a
comprehensive convergence analysis of the quantized distributed SGD,
establishing theoretical guarantees for its performance. Furthermore, by
minimizing the convergence error, we derive optimal closed-form solutions for
the truncation threshold and non-uniform quantization levels under given
communication constraints. Both theoretical insights and extensive experimental
evaluations demonstrate that our proposed algorithm outperforms existing
quantization schemes, striking a superior balance between communication
efficiency and convergence performance.
- Abstract(参考訳): 分散学習におけるコミュニケーションボトルネックに対処するために,分散確率勾配 Descent (SGD) の通信効率を高めるために,本研究は,新しい2段階量子化戦略を導入する。
提案手法は当初, 長絡音の影響を緩和するためにトランザクションを用い, 次いで, 統計特性に基づく後絡勾配の非一様量子化を行った。
我々は,量子化分散sgdの包括的収束解析を行い,その性能に関する理論的保証を確立する。
さらに、収束誤差を最小化することにより、与えられた通信制約下での切断閾値と非一様量子化レベルに対する最適閉形式解を導出する。
理論的知見と広範な実験的評価は,提案アルゴリズムが既存の量子化方式よりも優れており,通信効率と収束性能のバランスが優れていることを示している。
関連論文リスト
- Quantization Avoids Saddle Points in Distributed Optimization [1.579622195923387]
分散非最適化は、多くの分散システムの重要な機能を支える。
本研究の目的は,サドル点収束を2次定常点収束に効果的に回避できることを示すことである。
簡単に調整可能な量子化により、ユーザの制御により、通信オーバーヘッドを積極的に削減できる。
論文 参考訳(メタデータ) (2024-03-15T15:58:20Z) - Rethinking Clustered Federated Learning in NOMA Enhanced Wireless
Networks [60.09912912343705]
本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。
データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。
非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
論文 参考訳(メタデータ) (2024-03-05T17:49:09Z) - Improved Quantization Strategies for Managing Heavy-tailed Gradients in
Distributed Learning [20.91559450517002]
その結果, 勾配分布は重く, アウトレーヤは圧縮戦略の設計に大きく影響していることがわかった。
既存のパラメータ量子化法は、この重み付き特徴が無視されるときに性能劣化を経験する。
重み付き勾配勾配に特化して設計された新しい圧縮スキームを導入し, トラルニケーションと量子化を効果的に組み合わせた。
論文 参考訳(メタデータ) (2024-02-02T06:14:31Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse
optimisation on Measures [1.9950682531209156]
本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。
i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
論文 参考訳(メタデータ) (2023-12-10T20:41:43Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-04T01:47:37Z) - Near-Term Distributed Quantum Computation using Mean-Field Corrections
and Auxiliary Qubits [77.04894470683776]
本稿では,限られた情報伝達と保守的絡み合い生成を含む短期分散量子コンピューティングを提案する。
我々はこれらの概念に基づいて、変分量子アルゴリズムの断片化事前学習のための近似回路切断手法を作成する。
論文 参考訳(メタデータ) (2023-09-11T18:00:00Z) - Neural Networks with Quantization Constraints [111.42313650830248]
量子化学習における制約付き学習手法を提案する。
結果の問題は強い双対であり、勾配推定は不要であることを示す。
提案手法は画像分類タスクにおける競合性能を示す。
論文 参考訳(メタデータ) (2022-10-27T17:12:48Z) - Symmetry Regularization and Saturating Nonlinearity for Robust
Quantization [5.1779694507922835]
量子化に対するネットワークの強固化に関する3つの知見を提示する。
対称性正則化(SymReg)と飽和非線形性(SatNL)という2つの新しい手法を提案する。
トレーニング中に提案した手法を適用することで、量子化に対する任意のニューラルネットワークの堅牢性を高めることができる。
論文 参考訳(メタデータ) (2022-07-31T02:12:28Z) - Wireless Quantized Federated Learning: A Joint Computation and
Communication Design [36.35684767732552]
本稿では、アップリンク伝送前の局所モデルパラメータを定量化することにより、FLの総収束時間を最小化することを目的とする。
グローバルラウンド全体の収束時間を最小限に抑えるため,計算,通信資源,量子化ビット数を共同で最適化する。
論文 参考訳(メタデータ) (2022-03-11T12:30:08Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳(メタデータ) (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。