論文の概要: Clipped Uniform Quantizers for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2405.13365v1
• Date: Wed, 22 May 2024 05:48:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 01:14:40.780972
• Title: Clipped Uniform Quantizers for Communication-Efficient Federated Learning
• Title（参考訳）: コミュニケーション効率のよいフェデレーション学習のための一様量子化器
• Authors: Zavareh Bozorgasl, Hao Chen,
• Abstract要約: 本稿では,フェデレート学習環境における一様量子化手法を提案する。 最適クリッピングしきい値と適応量子化スキームを用いることで、モデル重み伝達のビット要求を著しく削減する。
• 参考スコア（独自算出の注目度）: 3.38220960870904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces an approach to employ clipped uniform quantization in federated learning settings, aiming to enhance model efficiency by reducing communication overhead without compromising accuracy. By employing optimal clipping thresholds and adaptive quantization schemes, our method significantly curtails the bit requirements for model weight transmissions between clients and the server. We explore the implications of symmetric clipping and uniform quantization on model performance, highlighting the utility of stochastic quantization to mitigate quantization artifacts and improve model robustness. Through extensive simulations on the MNIST dataset, our results demonstrate that the proposed method achieves near full-precision performance while ensuring substantial communication savings. Specifically, our approach facilitates efficient weight averaging based on quantization errors, effectively balancing the trade-off between communication efficiency and model accuracy. The comparative analysis with conventional quantization methods further confirms the superiority of our technique.
• Abstract（参考訳）: 本稿では, コミュニケーションオーバーヘッドを低減し, 精度を損なうことなく, モデル効率を向上させることを目的とした, 統合学習環境におけるクリップ付き均一量子化手法を提案する。 最適クリッピングしきい値と適応量子化方式を用いることで、クライアントとサーバ間のモデル重み伝達のビット要求を著しく削減する。 我々は,対称クリッピングと一様量子化がモデル性能に与える影響を考察し,量子化アーティファクトを緩和し,モデルロバスト性を向上させるための確率量子化の有用性を強調した。 MNISTデータセットの広範囲なシミュレーションにより,提案手法は通信の大幅な節約を図りながら,ほぼ精度の高い性能を実現することを示した。 具体的には,通信効率とモデル精度のトレードオフを効果的にバランスさせることにより,量子化誤差に基づく効率的な重量平均化を実現する。 従来の量子化法との比較分析により,本手法の優位性をさらに確認する。

関連論文リスト

• MetaAug: Meta-Data Augmentation for Post-Training Quantization [32.02377559968568]
  トレーニング後の量子化(PTQ)は、完全な精度モデルを定量化するために、小さなキャリブレーションデータのみを必要とするため、大きな注目を集めている。 本稿では,ポストトレーニング量子化の性能向上のためのメタラーニングに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-20T02:18:51Z)
• FedAQ: Communication-Efficient Federated Edge Learning via Joint Uplink and Downlink Adaptive Quantization [11.673528138087244]
  Federated Learning(FL)は、クライアントのデータプライバシを保護すると同時に、クライアントのデータと計算リソースを活用する強力な機械学習パラダイムである。 従来の研究は主にアップリンク通信に重点を置いており、固定ビット量子化法や適応量子化法を用いている。 本研究では,通信オーバヘッドを低減するために,結合アップリンクとダウンリンク適応量子化による包括的アプローチを導入する。
  論文  参考訳（メタデータ） (2024-06-26T08:14:23Z)
• Truncated Non-Uniform Quantization for Distributed SGD [17.30572818507568]
  分散勾配Descent(SGD)の通信効率を高めるための新しい2段階量子化戦略を導入する。 提案手法は, 当初, 長い尾音の影響を軽減するためにトラニケーションを用いており, 続いて, 統計的特性に基づいて, トラニケーション後の勾配の均一な量子化を行う。 提案アルゴリズムは既存の量子化方式よりも優れており,通信効率と収束性能のバランスが優れている。
  論文  参考訳（メタデータ） (2024-02-02T05:59:48Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
  畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。 従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。 これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
  論文  参考訳（メタデータ） (2023-08-08T21:38:02Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
  本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。 量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
  論文  参考訳（メタデータ） (2022-08-11T04:04:03Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。