論文の概要: Truncated Non-Uniform Quantization for Distributed SGD

• arxiv url: http://arxiv.org/abs/2402.01160v1
• Date: Fri, 2 Feb 2024 05:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 16:37:03.721637
• Title: Truncated Non-Uniform Quantization for Distributed SGD
• Title（参考訳）: 分散sgdのための切断非一様量子化
• Authors: Guangfeng Yan, Tan Li, Yuanzhang Xiao, Congduan Li and Linqi Song
• Abstract要約: 分散勾配Descent(SGD)の通信効率を高めるための新しい2段階量子化戦略を導入する。 提案手法は, 当初, 長い尾音の影響を軽減するためにトラニケーションを用いており, 続いて, 統計的特性に基づいて, トラニケーション後の勾配の均一な量子化を行う。 提案アルゴリズムは既存の量子化方式よりも優れており,通信効率と収束性能のバランスが優れている。
• 参考スコア（独自算出の注目度）: 17.30572818507568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To address the communication bottleneck challenge in distributed learning, our work introduces a novel two-stage quantization strategy designed to enhance the communication efficiency of distributed Stochastic Gradient Descent (SGD). The proposed method initially employs truncation to mitigate the impact of long-tail noise, followed by a non-uniform quantization of the post-truncation gradients based on their statistical characteristics. We provide a comprehensive convergence analysis of the quantized distributed SGD, establishing theoretical guarantees for its performance. Furthermore, by minimizing the convergence error, we derive optimal closed-form solutions for the truncation threshold and non-uniform quantization levels under given communication constraints. Both theoretical insights and extensive experimental evaluations demonstrate that our proposed algorithm outperforms existing quantization schemes, striking a superior balance between communication efficiency and convergence performance.
• Abstract（参考訳）: 分散学習におけるコミュニケーションボトルネックに対処するために,分散確率勾配 Descent (SGD) の通信効率を高めるために,本研究は,新しい2段階量子化戦略を導入する。 提案手法は当初, 長絡音の影響を緩和するためにトランザクションを用い, 次いで, 統計特性に基づく後絡勾配の非一様量子化を行った。 我々は,量子化分散sgdの包括的収束解析を行い,その性能に関する理論的保証を確立する。 さらに、収束誤差を最小化することにより、与えられた通信制約下での切断閾値と非一様量子化レベルに対する最適閉形式解を導出する。 理論的知見と広範な実験的評価は,提案アルゴリズムが既存の量子化方式よりも優れており,通信効率と収束性能のバランスが優れていることを示している。

関連論文リスト

• Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks [55.467288506826755]
  フェデレーテッド・ラーニング(FL)は、無線エッジネットワークにおけるローカル・プライバシ・アウェア・コラボレーティブ・モデルトレーニングの有効なソリューションとして認識されている。 既存の通信効率の高いFLアルゴリズムは、デバイス間の大きなばらつきを低減できない。 本稿では,高度分散還元方式に依存する新しい通信効率FLアルゴリズムであるFedQVRを提案する。
  論文  参考訳（メタデータ） (2025-01-20T04:26:21Z)
• A Quantum Genetic Algorithm Framework for the MaxCut Problem [49.59986385400411]
  提案手法では,Groverをベースとした進化的枠組みと分割・分散原理を用いた量子遺伝的アルゴリズム(QGA)を提案する。 完全グラフ上では、提案手法は真に最適なMaxCut値を一貫して達成し、セミデフィニティプログラミング(SDP)アプローチより優れている。 ErdHos-R'enyiランダムグラフでは、QGAは競合性能を示し、SDP結果の92-96%で中央値の解が得られる。
  論文  参考訳（メタデータ） (2025-01-02T05:06:16Z)
• Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
  本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。 視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。 実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
  論文  参考訳（メタデータ） (2024-10-10T17:02:48Z)
• Communication-Efficient Federated Learning via Clipped Uniform Quantization [3.38220960870904]
  本稿では,一様量子化によるフェデレーション学習におけるコミュニケーション効率向上のための新しい手法を提案する。 最適なクリッピングしきい値とクライアント固有の適応量子化方式を利用することで、クライアントとサーバ間のモデル重み伝達の帯域幅とメモリ要求を著しく削減する。 連合平均化とは対照的に、この設計では、クライアント固有のデータボリュームをサーバに開示する必要がなくなるため、クライアントのプライバシが向上する。
  論文  参考訳（メタデータ） (2024-05-22T05:48:25Z)
• Efficient Text-driven Motion Generation via Latent Consistency Training [21.348658259929053]
  非線形逆拡散軌道を解くための動き潜時整合トレーニングフレームワーク(MLCT)を提案する。 これらの拡張を組み合わせることで、非画素モダリティおよび潜在表現空間における安定かつ一貫性のあるトレーニングを実現する。
  論文  参考訳（メタデータ） (2024-05-05T02:11:57Z)
• Quantization Avoids Saddle Points in Distributed Optimization [1.579622195923387]
  分散非最適化は、多くの分散システムの重要な機能を支える。 本研究の目的は,サドル点収束を2次定常点収束に効果的に回避できることを示すことである。 簡単に調整可能な量子化により、ユーザの制御により、通信オーバーヘッドを積極的に削減できる。
  論文  参考訳（メタデータ） (2024-03-15T15:58:20Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Improved Quantization Strategies for Managing Heavy-tailed Gradients in Distributed Learning [20.91559450517002]
  その結果, 勾配分布は重く, アウトレーヤは圧縮戦略の設計に大きく影響していることがわかった。 既存のパラメータ量子化法は、この重み付き特徴が無視されるときに性能劣化を経験する。 重み付き勾配勾配に特化して設計された新しい圧縮スキームを導入し, トラルニケーションと量子化を効果的に組み合わせた。
  論文  参考訳（メタデータ） (2024-02-02T06:14:31Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Near-Term Distributed Quantum Computation using Mean-Field Corrections and Auxiliary Qubits [77.04894470683776]
  本稿では,限られた情報伝達と保守的絡み合い生成を含む短期分散量子コンピューティングを提案する。 我々はこれらの概念に基づいて、変分量子アルゴリズムの断片化事前学習のための近似回路切断手法を作成する。
  論文  参考訳（メタデータ） (2023-09-11T18:00:00Z)
• Wireless Quantized Federated Learning: A Joint Computation and Communication Design [36.35684767732552]
  本稿では、アップリンク伝送前の局所モデルパラメータを定量化することにより、FLの総収束時間を最小化することを目的とする。 グローバルラウンド全体の収束時間を最小限に抑えるため,計算,通信資源,量子化ビット数を共同で最適化する。
  論文  参考訳（メタデータ） (2022-03-11T12:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。