論文の概要: Truncated Non-Uniform Quantization for Distributed SGD

• arxiv url: http://arxiv.org/abs/2402.01160v1
• Date: Fri, 2 Feb 2024 05:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 16:37:03.721637
• Title: Truncated Non-Uniform Quantization for Distributed SGD
• Title（参考訳）: 分散sgdのための切断非一様量子化
• Authors: Guangfeng Yan, Tan Li, Yuanzhang Xiao, Congduan Li and Linqi Song
• Abstract要約: 分散勾配Descent(SGD)の通信効率を高めるための新しい2段階量子化戦略を導入する。 提案手法は, 当初, 長い尾音の影響を軽減するためにトラニケーションを用いており, 続いて, 統計的特性に基づいて, トラニケーション後の勾配の均一な量子化を行う。 提案アルゴリズムは既存の量子化方式よりも優れており,通信効率と収束性能のバランスが優れている。
• 参考スコア（独自算出の注目度）: 17.30572818507568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To address the communication bottleneck challenge in distributed learning, our work introduces a novel two-stage quantization strategy designed to enhance the communication efficiency of distributed Stochastic Gradient Descent (SGD). The proposed method initially employs truncation to mitigate the impact of long-tail noise, followed by a non-uniform quantization of the post-truncation gradients based on their statistical characteristics. We provide a comprehensive convergence analysis of the quantized distributed SGD, establishing theoretical guarantees for its performance. Furthermore, by minimizing the convergence error, we derive optimal closed-form solutions for the truncation threshold and non-uniform quantization levels under given communication constraints. Both theoretical insights and extensive experimental evaluations demonstrate that our proposed algorithm outperforms existing quantization schemes, striking a superior balance between communication efficiency and convergence performance.
• Abstract（参考訳）: 分散学習におけるコミュニケーションボトルネックに対処するために,分散確率勾配 Descent (SGD) の通信効率を高めるために,本研究は,新しい2段階量子化戦略を導入する。 提案手法は当初, 長絡音の影響を緩和するためにトランザクションを用い, 次いで, 統計特性に基づく後絡勾配の非一様量子化を行った。 我々は,量子化分散sgdの包括的収束解析を行い,その性能に関する理論的保証を確立する。 さらに、収束誤差を最小化することにより、与えられた通信制約下での切断閾値と非一様量子化レベルに対する最適閉形式解を導出する。 理論的知見と広範な実験的評価は,提案アルゴリズムが既存の量子化方式よりも優れており,通信効率と収束性能のバランスが優れていることを示している。

関連論文リスト

• Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
  本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。 視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。 実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
  論文  参考訳（メタデータ） (2024-10-10T17:02:48Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。 我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Clipped Uniform Quantizers for Communication-Efficient Federated Learning [3.38220960870904]
  本稿では,フェデレート学習環境における一様量子化手法を提案する。 最適クリッピングしきい値と適応量子化スキームを用いることで、モデル重み伝達のビット要求を著しく削減する。
  論文  参考訳（メタデータ） (2024-05-22T05:48:25Z)
• Quantization Avoids Saddle Points in Distributed Optimization [1.579622195923387]
  分散非最適化は、多くの分散システムの重要な機能を支える。 本研究の目的は,サドル点収束を2次定常点収束に効果的に回避できることを示すことである。 簡単に調整可能な量子化により、ユーザの制御により、通信オーバーヘッドを積極的に削減できる。
  論文  参考訳（メタデータ） (2024-03-15T15:58:20Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Improved Quantization Strategies for Managing Heavy-tailed Gradients in Distributed Learning [20.91559450517002]
  その結果, 勾配分布は重く, アウトレーヤは圧縮戦略の設計に大きく影響していることがわかった。 既存のパラメータ量子化法は、この重み付き特徴が無視されるときに性能劣化を経験する。 重み付き勾配勾配に特化して設計された新しい圧縮スキームを導入し, トラルニケーションと量子化を効果的に組み合わせた。
  論文  参考訳（メタデータ） (2024-02-02T06:14:31Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Near-Term Distributed Quantum Computation using Mean-Field Corrections and Auxiliary Qubits [77.04894470683776]
  本稿では,限られた情報伝達と保守的絡み合い生成を含む短期分散量子コンピューティングを提案する。 我々はこれらの概念に基づいて、変分量子アルゴリズムの断片化事前学習のための近似回路切断手法を作成する。
  論文  参考訳（メタデータ） (2023-09-11T18:00:00Z)
• Symmetry Regularization and Saturating Nonlinearity for Robust Quantization [5.1779694507922835]
  量子化に対するネットワークの強固化に関する3つの知見を提示する。 対称性正則化(SymReg)と飽和非線形性(SatNL)という2つの新しい手法を提案する。 トレーニング中に提案した手法を適用することで、量子化に対する任意のニューラルネットワークの堅牢性を高めることができる。
  論文  参考訳（メタデータ） (2022-07-31T02:12:28Z)
• Wireless Quantized Federated Learning: A Joint Computation and Communication Design [36.35684767732552]
  本稿では、アップリンク伝送前の局所モデルパラメータを定量化することにより、FLの総収束時間を最小化することを目的とする。 グローバルラウンド全体の収束時間を最小限に抑えるため,計算,通信資源,量子化ビット数を共同で最適化する。
  論文  参考訳（メタデータ） (2022-03-11T12:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。