論文の概要: DoCoFL: Downlink Compression for Cross-Device Federated Learning

• arxiv url: http://arxiv.org/abs/2302.00543v2
• Date: Thu, 13 Jul 2023 16:03:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 17:20:13.695785
• Title: DoCoFL: Downlink Compression for Cross-Device Federated Learning
• Title（参考訳）: DoCoFL: クロスデバイスフェデレーション学習のためのダウンリンク圧縮
• Authors: Ron Dorfman, Shay Vargaftik, Yaniv Ben-Itzhak, Kfir Y. Levy
• Abstract要約: $textsfDoCoFL$はデバイス間設定でダウンリンク圧縮を行う新しいフレームワークである。 圧縮なしでベースラインと競合する精度を保ちながら、双方向の帯域幅を大幅に削減する。
• 参考スコア（独自算出の注目度）: 12.363097878376644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many compression techniques have been proposed to reduce the communication overhead of Federated Learning training procedures. However, these are typically designed for compressing model updates, which are expected to decay throughout training. As a result, such methods are inapplicable to downlink (i.e., from the parameter server to clients) compression in the cross-device setting, where heterogeneous clients $\textit{may appear only once}$ during training and thus must download the model parameters. Accordingly, we propose $\textsf{DoCoFL}$ -- a new framework for downlink compression in the cross-device setting. Importantly, $\textsf{DoCoFL}$ can be seamlessly combined with many uplink compression schemes, rendering it suitable for bi-directional compression. Through extensive evaluation, we show that $\textsf{DoCoFL}$ offers significant bi-directional bandwidth reduction while achieving competitive accuracy to that of a baseline without any compression.
• Abstract（参考訳）: フェデレートラーニング訓練の通信オーバーヘッドを軽減するため,多くの圧縮技術が提案されている。 しかし、これらは典型的にはモデル更新の圧縮のために設計されており、トレーニング中に減衰することが期待されている。 結果として、このようなメソッドは、トレーニング中に$\textit{mayが1回だけ現れるので、モデルパラメータをダウンロードしなければならないクロスデバイス設定におけるダウンリンク(パラメータサーバからクライアントへの圧縮)には適用できない。 したがって、デバイス間設定でダウンリンク圧縮を行う新しいフレームワークである$\textsf{DoCoFL}$を提案する。 重要なことに、$\textsf{docofl}$は多くのアップリンク圧縮スキームとシームレスに組み合わせることができ、双方向圧縮に適している。 広範囲な評価を通じて、$\textsf{docofl}$ は、圧縮なしでベースラインと競合する精度を保ちながら、双方向帯域幅を大幅に削減できることを示した。

関連論文リスト

• Lightweight Correlation-Aware Table Compression [58.50312417249682]
  $texttVirtual$は、既存のオープンフォーマットとシームレスに統合されるフレームワークである。 data-govデータセットの実験によると、$texttVirtual$はApache Parquetと比較してファイルサイズを最大40%削減する。
  論文  参考訳（メタデータ） (2024-10-17T22:28:07Z)
• Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
  本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。 精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
  論文  参考訳（メタデータ） (2023-08-08T14:10:16Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• L$_0$onie: Compressing COINs with L$_0$-constraints [0.4568777157687961]
  Inlicit Neural Representations (INR)は、ドメインに依存しない圧縮技術の研究を動機付けている。 我々はCOIN圧縮方式の空間制約付き拡張を提案する。
  論文  参考訳（メタデータ） (2022-07-08T22:24:56Z)
• Compressed-VFL: Communication-Efficient Learning with Vertically Partitioned Data [15.85259386116784]
  本稿では,垂直分割データを用いたコミュニケーション訓練のための圧縮垂直学習(C-VFL)を提案する。 VFLは,圧縮精度を著しく低下させることなく,通信コストを90%以上削減できることを示す。
  論文  参考訳（メタデータ） (2022-06-16T17:34:07Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• CD-SGD: Distributed Stochastic Gradient Descent with Compression and Delay Compensation [3.0786359925181315]
  分散計算トレーニングにおいて、通信オーバーヘッドが重要な課題である。 勾配圧縮技術は通信オーバーヘッドの影響を大幅に軽減することができる。 しかし、勾配圧縮は追加コストをもたらし、次のトレーニングイテレーションを遅らせる。
  論文  参考訳（メタデータ） (2021-06-21T01:15:12Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Compressed Communication for Distributed Training: Adaptive Methods and System [13.244482588437972]
  通信オーバーヘッドは、分散機械学習システムのスケーラビリティを著しく妨げます。 近年,通信オーバーヘッドを低減するために勾配圧縮を使うことへの関心が高まっている。 本稿では, グラデーション圧縮を用いた新しい適応勾配法を提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:41:47Z)
• Learning Scalable $\ell_\infty$-constrained Near-lossless Image Compression via Joint Lossy Image and Residual Compression [118.89112502350177]
  本稿では,$ell_infty$-constrained near-lossless image compressionを学習するための新しいフレームワークを提案する。 元の残差の学習確率モデルを定量化し、量子化残差の確率モデルを導出する。
  論文  参考訳（メタデータ） (2021-03-31T11:53:36Z)
• GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework [94.26938614206689]
  本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。 我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
  論文  参考訳（メタデータ） (2020-08-25T14:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。