論文の概要: DQ-SGD: Dynamic Quantization in SGD for Communication-Efficient Distributed Learning

• arxiv url: http://arxiv.org/abs/2107.14575v1
• Date: Fri, 30 Jul 2021 12:22:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-02 13:09:53.912420
• Title: DQ-SGD: Dynamic Quantization in SGD for Communication-Efficient Distributed Learning
• Title（参考訳）: DQ-SGD:通信効率の良い分散学習のためのSGDの動的量子化
• Authors: Guangfeng Yan, Shao-Lun Huang, Tian Lan and Linqi Song
• Abstract要約: 本稿では,各勾配降下ステップの量子化スキームを動的に調整する動的量子化SGD(DQ-SGD)フレームワークを提案する。 我々の量子化方式は、他の最先端の勾配量子化手法よりも、通信コストと学習性能のトレードオフが優れていることを示す。
• 参考スコア（独自算出の注目度）: 22.83609192604322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient quantization is an emerging technique in reducing communication costs in distributed learning. Existing gradient quantization algorithms often rely on engineering heuristics or empirical observations, lacking a systematic approach to dynamically quantize gradients. This paper addresses this issue by proposing a novel dynamically quantized SGD (DQ-SGD) framework, enabling us to dynamically adjust the quantization scheme for each gradient descent step by exploring the trade-off between communication cost and convergence error. We derive an upper bound, tight in some cases, of the convergence error for a restricted family of quantization schemes and loss functions. We design our DQ-SGD algorithm via minimizing the communication cost under the convergence error constraints. Finally, through extensive experiments on large-scale natural language processing and computer vision tasks on AG-News, CIFAR-10, and CIFAR-100 datasets, we demonstrate that our quantization scheme achieves better tradeoffs between the communication cost and learning performance than other state-of-the-art gradient quantization methods.
• Abstract（参考訳）: グラディエント量子化は、分散学習における通信コストを低減する新しい手法である。 既存の勾配量子化アルゴリズムは、しばしば工学的ヒューリスティックスや経験的観察に依存し、動的に勾配を量子化する体系的なアプローチを欠いている。 本稿では,通信コストと収束誤差のトレードオフを探索することにより,各勾配降下ステップの量子化スキームを動的に調整できる新しい動的量子化SGD(DQ-SGD)フレームワークを提案する。 量子化スキームと損失関数の制限された族に対する収束誤差を、場合によっては上界できつく導出する。 収束誤差制約下での通信コストを最小化してDQ-SGDアルゴリズムを設計する。 最後に,AG-News,CIFAR-10,CIFAR-100データセット上での大規模自然言語処理とコンピュータビジョンタスクの広範な実験を通じて,我々の量子化方式が,他の最先端の勾配量子化手法よりも通信コストと学習性能とのトレードオフを良くすることを示した。

関連論文リスト

• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。 我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Rate-Constrained Quantization for Communication-Efficient Federated Learning [5.632231145349047]
  我々はtextbfrate-textbfconstrained textbffederated Learning (RC-FED) と呼ばれる新しい量子化FLフレームワークを開発した。 我々は、符号化された勾配の速度を目標閾値以下に保ちながら、量子化歪みを最小限に抑える共同最適化として、このスキームを定式化する。 RC-FEDの収束挙動を解析し,いくつかのデータセット上でのベースライン量子化FLスキームに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-10T08:22:01Z)
• Truncated Non-Uniform Quantization for Distributed SGD [17.30572818507568]
  分散勾配Descent(SGD)の通信効率を高めるための新しい2段階量子化戦略を導入する。 提案手法は, 当初, 長い尾音の影響を軽減するためにトラニケーションを用いており, 続いて, 統計的特性に基づいて, トラニケーション後の勾配の均一な量子化を行う。 提案アルゴリズムは既存の量子化方式よりも優れており,通信効率と収束性能のバランスが優れている。
  論文  参考訳（メタデータ） (2024-02-02T05:59:48Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
  本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。 量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
  論文  参考訳（メタデータ） (2022-08-11T04:04:03Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。