論文の概要: Compressed-VFL: Communication-Efficient Learning with Vertically Partitioned Data

• arxiv url: http://arxiv.org/abs/2206.08330v1
• Date: Thu, 16 Jun 2022 17:34:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 15:46:33.457776
• Title: Compressed-VFL: Communication-Efficient Learning with Vertically Partitioned Data
• Title（参考訳）: 圧縮VFL:垂直分割データによるコミュニケーション効率の高い学習
• Authors: Timothy Castiglia, Anirban Das, Shiqiang Wang, Stacy Patterson
• Abstract要約: 本稿では,垂直分割データを用いたコミュニケーション訓練のための圧縮垂直学習(C-VFL)を提案する。 VFLは,圧縮精度を著しく低下させることなく,通信コストを90%以上削減できることを示す。
• 参考スコア（独自算出の注目度）: 15.85259386116784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Compressed Vertical Federated Learning (C-VFL) for communication-efficient training on vertically partitioned data. In C-VFL, a server and multiple parties collaboratively train a model on their respective features utilizing several local iterations and sharing compressed intermediate results periodically. Our work provides the first theoretical analysis of the effect message compression has on distributed training over vertically partitioned data. We prove convergence of non-convex objectives at a rate of $O(\frac{1}{\sqrt{T}})$ when the compression error is bounded over the course of training. We provide specific requirements for convergence with common compression techniques, such as quantization and top-$k$ sparsification. Finally, we experimentally show compression can reduce communication by over $90\%$ without a significant decrease in accuracy over VFL without compression.
• Abstract（参考訳）: 垂直分割データにおける通信効率向上のための圧縮垂直フェデレート学習(C-VFL)を提案する。 C-VFLでは、サーバと複数のパーティが、複数のローカルイテレーションを使用して各機能のモデルを協調的にトレーニングし、定期的に圧縮された中間結果を共有する。 本研究は,メッセージ圧縮が垂直分割データに対する分散トレーニングに与える影響について,最初の理論的解析を提供する。 圧縮誤差がトレーニングの過程で限定されている場合、非凸対象の収束率を$o(\frac{1}{\sqrt{t}})$で証明する。 量子化やトップ$k$のスパーシフィケーションといった一般的な圧縮技術と収束するための特別な要件を提供する。 最後に, 圧縮なしでVFLの精度を著しく低下させることなく, 圧縮により通信コストを90 %以上削減できることを示す。

関連論文リスト

• Communication-efficient Vertical Federated Learning via Compressed Error Feedback [24.32409923443071]
  コミュニケーションのオーバーヘッドは、学習(FL)におけるボトルネックとして知られている。 ネットワークをトレーニングするためのフェデレーションネットワーク上でのエラーフィードバックを提案する。 EFVFLは、スムーズな非重要な問題に対して、圧縮誤差をなくす必要はない。
  論文  参考訳（メタデータ） (2024-06-20T15:40:38Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• GraVAC: Adaptive Compression for Communication-Efficient Distributed DL Training [0.0]
  分散データ並列(DDP)トレーニングは、複数のデバイスがデータのサブセットをトレーニングし、アップデートを集約してグローバルに共有するモデルを生成することにより、アプリケーション全体のスループットを向上させる。 GraVACは、モデル進捗を評価し、圧縮に関連する情報損失を評価することで、トレーニング全体を通して圧縮係数を動的に調整するフレームワークである。 静的圧縮係数を使用するのとは対照的に、GraVACはResNet101、VGG16、LSTMのエンドツーエンドのトレーニング時間をそれぞれ4.32x、1.95x、6.67x削減する。
  論文  参考訳（メタデータ） (2023-05-20T14:25:17Z)
• DoCoFL: Downlink Compression for Cross-Device Federated Learning [12.363097878376644]
  $textsfDoCoFL$はデバイス間設定でダウンリンク圧縮を行う新しいフレームワークである。 圧縮なしでベースラインと競合する精度を保ちながら、双方向の帯域幅を大幅に削減する。
  論文  参考訳（メタデータ） (2023-02-01T16:08:54Z)
• Optimus-CC: Efficient Large NLP Model Training with 3D Parallelism Aware Communication Compression [8.591088380355252]
  攻撃的な通信圧縮を備えた大規模NLPモデルのための高速でスケーラブルな分散トレーニングフレームワークOptimus-CCを提案する。 本稿では,圧縮によるモデル品質低下を回避する手法を提案する。 我々は、GPUクラスタ上でソリューションを実証し、モデル品質を犠牲にすることなく、分散トレーニングのためのベースラインの最先端ソリューションから優れたスピードアップを実現する。
  論文  参考訳（メタデータ） (2023-01-24T06:07:55Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Compressed Communication for Distributed Training: Adaptive Methods and System [13.244482588437972]
  通信オーバーヘッドは、分散機械学習システムのスケーラビリティを著しく妨げます。 近年,通信オーバーヘッドを低減するために勾配圧縮を使うことへの関心が高まっている。 本稿では, グラデーション圧縮を用いた新しい適応勾配法を提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:41:47Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。