論文の概要: FedDQ: Communication-Efficient Federated Learning with Descending Quantization

• arxiv url: http://arxiv.org/abs/2110.02291v1
• Date: Tue, 5 Oct 2021 18:56:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-07 14:21:00.311143
• Title: FedDQ: Communication-Efficient Federated Learning with Descending Quantization
• Title（参考訳）: feddq: 下降量子化を用いたコミュニケーション効率の高いフェデレーション学習
• Authors: Linping Qu, Shenghui Song, Chi-Ying Tsui
• Abstract要約: フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のための分散ラーニングスキームである。 FLは、大きなモデルサイズと頻繁なモデルアグリゲーションによって、重要な通信ボトルネックに悩まされる。 本稿では適応的な量子化を行うための反対のアプローチを提案する。
• 参考スコア（独自算出の注目度）: 5.881154276623056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is an emerging privacy-preserving distributed learning scheme. Due to the large model size and frequent model aggregation, FL suffers from critical communication bottleneck. Many techniques have been proposed to reduce the communication volume, including model compression and quantization, where quantization with increasing number of levels has been proposed. This paper proposes an opposite approach to do adaptive quantization. First, we present the drawback of ascending-trend quantization based on the characteristics of training. Second, we formulate the quantization optimization problem and theoretical analysis shows that quantization with decreasing number of levels is preferred. Then we propose two strategies to guide the adaptive quantization process by using the change in training loss and the range of model update. Experimental results on three sets of benchmarks show that descending-trend quantization not only saves more communication bits but also helps FL converge faster, when compares with current ascending-trend quantization.
• Abstract（参考訳）: フェデレーション学習(federated learning、fl)は、新たなプライバシ保護型分散学習スキームである。 大きなモデルサイズと頻繁なモデル集約のため、FLは重要な通信ボトルネックに悩まされる。 モデル圧縮や量子化を含む通信量を減らすために多くの手法が提案されており、そこではレベルの増加を伴う量子化が提案されている。 本稿では,適応量子化を行うための逆アプローチを提案する。 まず, 訓練の特徴に基づいて, 上向き量子化の欠点について述べる。 第二に、量子化最適化問題を定式化し、理論解析により、レベル数が減少する量子化が望ましいことを示す。 そこで本研究では,学習損失の変化とモデル更新範囲を用いて適応量子化過程を導く2つの手法を提案する。 3組のベンチマーク実験の結果、下降-下降量子化はより多くの通信ビットを節約するだけでなく、現在の上降-下降量子化と比較した場合、FLの収束を早めることが示されている。

関連論文リスト

• Rate-Constrained Quantization for Communication-Efficient Federated Learning [5.632231145349047]
  我々はtextbfrate-textbfconstrained textbffederated Learning (RC-FED) と呼ばれる新しい量子化FLフレームワークを開発した。 我々は、符号化された勾配の速度を目標閾値以下に保ちながら、量子化歪みを最小限に抑える共同最適化として、このスキームを定式化する。 RC-FEDの収束挙動を解析し,いくつかのデータセット上でのベースライン量子化FLスキームに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-10T08:22:01Z)
• FedAQ: Communication-Efficient Federated Edge Learning via Joint Uplink and Downlink Adaptive Quantization [11.673528138087244]
  Federated Learning(FL)は、クライアントのデータプライバシを保護すると同時に、クライアントのデータと計算リソースを活用する強力な機械学習パラダイムである。 従来の研究は主にアップリンク通信に重点を置いており、固定ビット量子化法や適応量子化法を用いている。 本研究では,通信オーバヘッドを低減するために,結合アップリンクとダウンリンク適応量子化による包括的アプローチを導入する。
  論文  参考訳（メタデータ） (2024-06-26T08:14:23Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Learning Representations for CSI Adaptive Quantization and Feedback [51.14360605938647]
  本稿では,周波数分割二重化システムにおける適応量子化とフィードバックの効率的な手法を提案する。 既存の研究は主に、CSI圧縮のためのオートエンコーダ(AE)ニューラルネットワークの実装に焦点を当てている。 1つはポストトレーニング量子化に基づくもので、もう1つはAEのトレーニング中にコードブックが見つかる方法である。
  論文  参考訳（メタデータ） (2022-07-13T08:52:13Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• In-Hindsight Quantization Range Estimation for Quantized Training [5.65658124285176]
  従来の反復で推定した量子化範囲を用いて,現在を数値化する動的量子化手法であるin-hindsight range推定法を提案する。 今回のアプローチでは,ニューラルネットワークアクセラレータによる最小限のハードウェアサポートのみを必要としながら,勾配とアクティベーションの高速静的量子化を可能にする。 量子化範囲の推定のためのドロップイン代替として意図されており、他の量子化トレーニングの進歩と併用することができる。
  論文  参考訳（メタデータ） (2021-05-10T10:25:28Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。