論文の概要: DAdaQuant: Doubly-adaptive quantization for communication-efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2111.00465v1
• Date: Sun, 31 Oct 2021 10:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 08:54:22.500715
• Title: DAdaQuant: Doubly-adaptive quantization for communication-efficient Federated Learning
• Title（参考訳）: DAdaQuant:コミュニケーション効率向上のための二重適応量子化
• Authors: Robert H\"onig, Yiren Zhao, Robert Mullins
• Abstract要約: フェデレートラーニング(FL)は、プライバシを保存する方法で、複数のクライアントからのデータをサーバ上でトレーニングする強力なテクニックである。 近年,FL通信を効率的に圧縮するためにモデルパラメータを定量化するアルゴリズムが提案されている。 量子化レベルの動的適応はモデル品質を犠牲にすることなく圧縮を向上させることができる。
• 参考スコア（独自算出の注目度）: 3.136861161060886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a powerful technique for training a model on a server with data from several clients in a privacy-preserving manner. In FL, a server sends the model to every client, who then train the model locally and send it back to the server. The server aggregates the updated models and repeats the process for several rounds. FL incurs significant communication costs, in particular when transmitting the updated local models from the clients back to the server. Recently proposed algorithms quantize the model parameters to efficiently compress FL communication. These algorithms typically have a quantization level that controls the compression factor. We find that dynamic adaptations of the quantization level can boost compression without sacrificing model quality. First, we introduce a time-adaptive quantization algorithm that increases the quantization level as training progresses. Second, we introduce a client-adaptive quantization algorithm that assigns each individual client the optimal quantization level at every round. Finally, we combine both algorithms into DAdaQuant, the doubly-adaptive quantization algorithm. Our experiments show that DAdaQuant consistently improves client$\rightarrow$server compression, outperforming the strongest non-adaptive baselines by up to $2.8\times$.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、複数のクライアントからのデータをプライバシ保存方式でサーバ上でトレーニングするための強力なテクニックである。 flでは、サーバがモデルをすべてのクライアントに送信し、モデルをローカルにトレーニングし、それをサーバに送信する。 サーバは更新されたモデルを集約し、数ラウンドのプロセスを繰り返します。 特に更新されたローカルモデルをクライアントからサーバに送信する場合、flは大きな通信コストを発生させる。 近年,モデルパラメータを定量化してfl通信を効率的に圧縮するアルゴリズムが提案されている。 これらのアルゴリズムは通常、圧縮係数を制御する量子化レベルを持つ。 量子化レベルの動的適応はモデル品質を犠牲にすることなく圧縮を促進することができる。 まず,トレーニングが進むにつれて量子化レベルを増加させる時間適応量子化アルゴリズムを提案する。 次に、各クライアントに最適な量子化レベルをラウンド毎に割り当てるクライアント適応量子化アルゴリズムを提案する。 最後に、両アルゴリズムを2倍適応量子化アルゴリズムであるDAdaQuantに結合する。 我々の実験によると、DAdaQuantはクライアント$\rightarrow$server圧縮を一貫して改善し、最強の非適応ベースラインを最大2.8\times$で上回っている。

関連論文リスト

• Personalized Quantum Federated Learning for Privacy Image Classification [52.04404538764307]
  画像の不均衡な分布の場合のクライアントモデルの性格を高めるために、パーソナライズされた量子フェデレーション学習アルゴリズムを提案する。 実験結果から,パーソナライズされた量子フェデレーション学習アルゴリズムは,高性能なグローバルモデルとローカルモデルを得ることができることが示された。
  論文  参考訳（メタデータ） (2024-10-03T14:53:04Z)
• Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
  各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。 本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
  論文  参考訳（メタデータ） (2024-06-03T08:48:49Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory [1.5771347525430772]
  連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。 本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。 量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
  論文  参考訳（メタデータ） (2022-01-07T20:17:33Z)
• FedDQ: Communication-Efficient Federated Learning with Descending Quantization [5.881154276623056]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のための分散ラーニングスキームである。 FLは、大きなモデルサイズと頻繁なモデルアグリゲーションによって、重要な通信ボトルネックに悩まされる。 本稿では適応的な量子化を行うための反対のアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-05T18:56:28Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• QuPeD: Quantized Personalization via Distillation with Applications to Federated Learning [8.420943739336067]
  統合学習(FL)は、複数のクライアントとサーバを協調的に使用しながら、単一のグローバルモデルをトレーニングすることを目的としている。 本稿では,集合的(個人化されたモデル圧縮)訓練を容易にする,テキスト化およびテキスト化FLアルゴリズムQuPeDを提案する。 数値的には、QuPeDは、さまざまな異種環境におけるクライアントの個人化FLメソッド、FedAvg、およびローカルトレーニングよりも優れていた。
  論文  参考訳（メタデータ） (2021-07-29T10:55:45Z)
• QuPeL: Quantized Personalization with Applications to Federated Learning [8.420943739336067]
  本稿では,ヘテロジニアスクライアントとの協調学習を容易にするテキスト化・テキスト化flアルゴリズムを提案する。 パーソナライゼーションのために、クライアントはリソースに応じて異なる量子化パラメータを持つテキスト圧縮パーソナライゼーションモデルを学ぶことができます。 数値的に、量子化レベルを最適化することで性能が向上し、QuPeLがFedAvgとクライアントのローカルトレーニングの両方で不均一な環境で性能を向上することを示す。
  論文  参考訳（メタデータ） (2021-02-23T16:43:51Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
  フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。 FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。 普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-05T07:10:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。