論文の概要: Rate-Constrained Quantization for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2409.06319v1
• Date: Tue, 10 Sep 2024 08:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-11 18:30:15.441837
• Title: Rate-Constrained Quantization for Communication-Efficient Federated Learning
• Title（参考訳）: 通信効率の良いフェデレーション学習のためのレート制約量子化
• Authors: Shayan Mohajer Hamidi, Ali Bereyhi,
• Abstract要約: 我々はtextbfrate-textbfconstrained textbffederated Learning (RC-FED) と呼ばれる新しい量子化FLフレームワークを開発した。 我々は、符号化された勾配の速度を目標閾値以下に保ちながら、量子化歪みを最小限に抑える共同最適化として、このスキームを定式化する。 RC-FEDの収束挙動を解析し,いくつかのデータセット上でのベースライン量子化FLスキームに対して優れた性能を示す。
• 参考スコア（独自算出の注目度）: 5.632231145349047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization is a common approach to mitigate the communication cost of federated learning (FL). In practice, the quantized local parameters are further encoded via an entropy coding technique, such as Huffman coding, for efficient data compression. In this case, the exact communication overhead is determined by the bit rate of the encoded gradients. Recognizing this fact, this work deviates from the existing approaches in the literature and develops a novel quantized FL framework, called \textbf{r}ate-\textbf{c}onstrained \textbf{fed}erated learning (RC-FED), in which the gradients are quantized subject to both fidelity and data rate constraints. We formulate this scheme, as a joint optimization in which the quantization distortion is minimized while the rate of encoded gradients is kept below a target threshold. This enables for a tunable trade-off between quantization distortion and communication cost. We analyze the convergence behavior of RC-FED, and show its superior performance against baseline quantized FL schemes on several datasets.
• Abstract（参考訳）: 量子化は、連合学習(FL)の通信コストを軽減するための一般的なアプローチである。 実際、量子化された局所パラメータは、効率的なデータ圧縮のために、ハフマン符号のようなエントロピー符号化技術によってさらに符号化される。 この場合、正確な通信オーバーヘッドは符号化された勾配のビットレートによって決定される。 この事実を認識して、この研究は文献における既存のアプローチから逸脱し、新しい量子化FLフレームワークである \textbf{r}ate-\textbf{c}onstrained \textbf{fed}erated learning (RC-FED) を開発した。 我々は、符号化された勾配の速度を目標閾値以下に保ちながら、量子化歪みを最小限に抑える共同最適化として、このスキームを定式化する。 これにより、量子化歪みと通信コストの間の調整可能なトレードオフが可能になる。 RC-FEDの収束挙動を解析し,いくつかのデータセット上でのベースライン量子化FLスキームに対して優れた性能を示す。

関連論文リスト

• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Learning Representations for CSI Adaptive Quantization and Feedback [51.14360605938647]
  本稿では,周波数分割二重化システムにおける適応量子化とフィードバックの効率的な手法を提案する。 既存の研究は主に、CSI圧縮のためのオートエンコーダ(AE)ニューラルネットワークの実装に焦点を当てている。 1つはポストトレーニング量子化に基づくもので、もう1つはAEのトレーニング中にコードブックが見つかる方法である。
  論文  参考訳（メタデータ） (2022-07-13T08:52:13Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• How to Attain Communication-Efficient DNN Training? Convert, Compress, Correct [19.440030100380632]
  本稿では,通信効率の高いDeep Neural Network (DNN) トレーニングのためのアルゴリズムであるCO3を紹介する。 CO3は、リモートユーザからサーバにローカルDNN勾配を送信する際の通信負荷を低減する3つの処理から名付けられた。
  論文  参考訳（メタデータ） (2022-04-18T08:22:55Z)
• Wireless Quantized Federated Learning: A Joint Computation and Communication Design [36.35684767732552]
  本稿では、アップリンク伝送前の局所モデルパラメータを定量化することにより、FLの総収束時間を最小化することを目的とする。 グローバルラウンド全体の収束時間を最小限に抑えるため,計算,通信資源,量子化ビット数を共同で最適化する。
  論文  参考訳（メタデータ） (2022-03-11T12:30:08Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• FedDQ: Communication-Efficient Federated Learning with Descending Quantization [5.881154276623056]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のための分散ラーニングスキームである。 FLは、大きなモデルサイズと頻繁なモデルアグリゲーションによって、重要な通信ボトルネックに悩まされる。 本稿では適応的な量子化を行うための反対のアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-05T18:56:28Z)
• DQ-SGD: Dynamic Quantization in SGD for Communication-Efficient Distributed Learning [22.83609192604322]
  本稿では,各勾配降下ステップの量子化スキームを動的に調整する動的量子化SGD(DQ-SGD)フレームワークを提案する。 我々の量子化方式は、他の最先端の勾配量子化手法よりも、通信コストと学習性能のトレードオフが優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-30T12:22:31Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。