論文の概要: Q-GADMM: Quantized Group ADMM for Communication Efficient Decentralized Machine Learning

• arxiv url: http://arxiv.org/abs/1910.10453v7
• Date: Sun, 19 Jan 2025 01:27:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:30:24.446270
• Title: Q-GADMM: Quantized Group ADMM for Communication Efficient Decentralized Machine Learning
• Title（参考訳）: Q-GADMM:効率的な分散機械学習のための量子化グループADMM
• Authors: Anis Elgabli, Jihong Park, Amrit S. Bedi, Chaouki Ben Issaid, Mehdi Bennis, Vaneet Aggarwal,
• Abstract要約: 我々はQGADMM(QGADMM)という通信効率の高い分散機械学習(ML)アルゴリズムを提案する。 我々は,凸関数に対するQGADMMの収束性を証明しつつ,モデル化レベルとその確率を適応的に調整する新しい量子化法を開発した。
• 参考スコア（独自算出の注目度）: 66.18202188565922
• License:
• Abstract: In this article, we propose a communication-efficient decentralized machine learning (ML) algorithm, coined quantized group ADMM (Q-GADMM). To reduce the number of communication links, every worker in Q-GADMM communicates only with two neighbors, while updating its model via the group alternating direction method of multipliers (GADMM). Moreover, each worker transmits the quantized difference between its current model and its previously quantized model, thereby decreasing the communication payload size. However, due to the lack of centralized entity in decentralized ML, the spatial sparsity and payload compression may incur error propagation, hindering model training convergence. To overcome this, we develop a novel stochastic quantization method to adaptively adjust model quantization levels and their probabilities, while proving the convergence of Q-GADMM for convex objective functions. Furthermore, to demonstrate the feasibility of Q-GADMM for non-convex and stochastic problems, we propose quantized stochastic GADMM (Q-SGADMM) that incorporates deep neural network architectures and stochastic sampling. Simulation results corroborate that Q-GADMM significantly outperforms GADMM in terms of communication efficiency while achieving the same accuracy and convergence speed for a linear regression task. Similarly, for an image classification task using DNN, Q-SGADMM achieves significantly less total communication cost with identical accuracy and convergence speed compared to its counterpart without quantization, i.e., stochastic GADMM (SGADMM).
• Abstract（参考訳）: 本稿では,Q-GADMM(Q-GADMM)を用いた通信効率の高い分散機械学習(ML)アルゴリズムを提案する。 通信リンク数を減らすため、Q-GADMMの作業者は2つの隣人とのみ通信し、そのモデルを乗算器群交互方向法(GADMM)によって更新する。 さらに、各作業者は、現在のモデルと以前の定量化モデルとの量子化差を送信し、通信ペイロードサイズを小さくする。 しかし、分散MLにおける集中型エンティティが欠如しているため、空間空間の空間空間とペイロードの圧縮はエラーの伝播を招き、モデルトレーニングの収束を妨げる可能性がある。 そこで我々は,凸目的関数に対するQ-GADMMの収束性を証明しつつ,モデル量子化レベルとその確率を適応的に調整する,新しい確率量子化法を開発した。 さらに、非凸および確率問題に対するQ-GADMMの実現可能性を示すために、深層ニューラルネットワークアーキテクチャと確率サンプリングを組み込んだ量子確率GADMM(Q-SGADMM)を提案する。 シミュレーションの結果、Q-GADMMは、線形回帰タスクにおいて同じ精度と収束速度を達成しつつ、通信効率でGADMMを著しく上回ることがわかった。 同様に、DNNを用いた画像分類タスクでは、Q-SGADMMは、量子化のないもの、すなわち確率的GADMM(SGADMM)と同等の精度と収束速度で、通信コストを著しく削減する。

関連論文リスト

• Approximately Equivariant Quantum Neural Network for $p4m$ Group Symmetries in Images [30.01160824817612]
  本研究では、平面$p4m$対称性に基づく画像分類のための同変量子畳み込みニューラルネットワーク(EquivQCNNs)を提案する。 2次元イジングモデルの位相検出や拡張MNISTデータセットの分類など、さまざまなユースケースでテストされた結果を示す。
  論文  参考訳（メタデータ） (2023-10-03T18:01:02Z)
• Quantum Multi-Agent Reinforcement Learning for Autonomous Mobility Cooperation [14.606459096293088]
  本稿ではアクター・クリティカルネットワークの概念に基づく量子MARL(QMARL)アルゴリズムを提案する。 我々のQMARLは、量子超越性による効率的なパラメータ利用と高速収束の点で有益である。 プロジェクション値測度(PVM)と呼ばれる拡張性のための新たな手法が提案されている。
  論文  参考訳（メタデータ） (2023-08-03T03:29:25Z)
• Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
  本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。 量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
  論文  参考訳（メタデータ） (2022-08-11T04:04:03Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Communication Efficient Distributed Learning with Censored, Quantized, and Generalized Group ADMM [52.12831959365598]
  本稿では,相互接続作業者のネットワーク上で定義されたコンセンサス最適化問題を解決するための,コミュニケーション効率のよい分散機械学習フレームワークを提案する。 提案アルゴリズムであるCensored and Quantized Generalized GADMMは、GADMM(Group Alternating Direction Method of Multipliers)の労働者グループ化と分散学習のアイデアを活用する。 CQ-GGADMMは通信ラウンド数で高い通信効率を示し、精度と収束速度を損なうことなくエネルギー消費を伝達する。
  論文  参考訳（メタデータ） (2020-09-14T14:18:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。