論文の概要: Clipped Uniform Quantizers for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2405.13365v1
• Date: Wed, 22 May 2024 05:48:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 01:14:40.780972
• Title: Clipped Uniform Quantizers for Communication-Efficient Federated Learning
• Title（参考訳）: コミュニケーション効率のよいフェデレーション学習のための一様量子化器
• Authors: Zavareh Bozorgasl, Hao Chen,
• Abstract要約: 本稿では,フェデレート学習環境における一様量子化手法を提案する。 最適クリッピングしきい値と適応量子化スキームを用いることで、モデル重み伝達のビット要求を著しく削減する。
• 参考スコア（独自算出の注目度）: 3.38220960870904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces an approach to employ clipped uniform quantization in federated learning settings, aiming to enhance model efficiency by reducing communication overhead without compromising accuracy. By employing optimal clipping thresholds and adaptive quantization schemes, our method significantly curtails the bit requirements for model weight transmissions between clients and the server. We explore the implications of symmetric clipping and uniform quantization on model performance, highlighting the utility of stochastic quantization to mitigate quantization artifacts and improve model robustness. Through extensive simulations on the MNIST dataset, our results demonstrate that the proposed method achieves near full-precision performance while ensuring substantial communication savings. Specifically, our approach facilitates efficient weight averaging based on quantization errors, effectively balancing the trade-off between communication efficiency and model accuracy. The comparative analysis with conventional quantization methods further confirms the superiority of our technique.
• Abstract（参考訳）: 本稿では, コミュニケーションオーバーヘッドを低減し, 精度を損なうことなく, モデル効率を向上させることを目的とした, 統合学習環境におけるクリップ付き均一量子化手法を提案する。 最適クリッピングしきい値と適応量子化方式を用いることで、クライアントとサーバ間のモデル重み伝達のビット要求を著しく削減する。 我々は,対称クリッピングと一様量子化がモデル性能に与える影響を考察し,量子化アーティファクトを緩和し,モデルロバスト性を向上させるための確率量子化の有用性を強調した。 MNISTデータセットの広範囲なシミュレーションにより,提案手法は通信の大幅な節約を図りながら,ほぼ精度の高い性能を実現することを示した。 具体的には,通信効率とモデル精度のトレードオフを効果的にバランスさせることにより,量子化誤差に基づく効率的な重量平均化を実現する。 従来の量子化法との比較分析により,本手法の優位性をさらに確認する。

関連論文リスト

• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Saliency Assisted Quantization for Neural Networks [0.0]
  本稿では,学習期間中にリアルタイムな説明を提供することにより,深層学習モデルのブラックボックスの性質に対処する。 我々は資源制約に対処するために確立された量子化手法を用いる。 提案手法の有効性を評価するため,量子化が畳み込みニューラルネットワークの解釈可能性や精度に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-07T05:16:26Z)
• FedAQ: Communication-Efficient Federated Edge Learning via Joint Uplink and Downlink Adaptive Quantization [11.673528138087244]
  Federated Learning(FL)は、クライアントのデータプライバシを保護すると同時に、クライアントのデータと計算リソースを活用する強力な機械学習パラダイムである。 従来の研究は主にアップリンク通信に重点を置いており、固定ビット量子化法や適応量子化法を用いている。 本研究では,通信オーバヘッドを低減するために,結合アップリンクとダウンリンク適応量子化による包括的アプローチを導入する。
  論文  参考訳（メタデータ） (2024-06-26T08:14:23Z)
• Truncated Non-Uniform Quantization for Distributed SGD [17.30572818507568]
  分散勾配Descent(SGD)の通信効率を高めるための新しい2段階量子化戦略を導入する。 提案手法は, 当初, 長い尾音の影響を軽減するためにトラニケーションを用いており, 続いて, 統計的特性に基づいて, トラニケーション後の勾配の均一な量子化を行う。 提案アルゴリズムは既存の量子化方式よりも優れており,通信効率と収束性能のバランスが優れている。
  論文  参考訳（メタデータ） (2024-02-02T05:59:48Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
  本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。 量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
  論文  参考訳（メタデータ） (2022-08-11T04:04:03Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory [1.5771347525430772]
  連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。 本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。 量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
  論文  参考訳（メタデータ） (2022-01-07T20:17:33Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。