論文の概要: An Efficient Gradient-Aware Error-Bounded Lossy Compressor for Federated Learning

• arxiv url: http://arxiv.org/abs/2511.05770v1
• Date: Fri, 07 Nov 2025 23:59:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.571366
• Title: An Efficient Gradient-Aware Error-Bounded Lossy Compressor for Federated Learning
• Title（参考訳）: フェデレート学習のための効率よいグラディエント・アウェア・エラー境界型ロシー圧縮機
• Authors: Zhijing Ye, Sheng Di, Jiamin Wang, Zhiqing Zhong, Zhaorui Zhang, Xiaodong Yu,
• Abstract要約: フェデレートラーニング(FL)は、クライアントのプライベートデータを公開せずに、協調的なモデルトレーニングを可能にする。 EBLCは特に、細粒度のユーティリティ圧縮トレードオフをアピールしている。 モデル精度を保ちながら高い圧縮率を達成するために,FL勾配データに適したEBLCフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.649286962189554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables collaborative model training without exposing clients' private data, but its deployment is often constrained by the communication cost of transmitting gradients between clients and the central server, especially under system heterogeneity where low-bandwidth clients bottleneck overall performance. Lossy compression of gradient data can mitigate this overhead, and error-bounded lossy compression (EBLC) is particularly appealing for its fine-grained utility-compression tradeoff. However, existing EBLC methods (e.g., SZ), originally designed for smooth scientific data with strong spatial locality, rely on generic predictors such as Lorenzo and interpolation for entropy reduction to improve compression ratio. Gradient tensors, in contrast, exhibit low smoothness and weak spatial correlation, rendering these predictors ineffective and leading to poor compression ratios. To address this limitation, we propose an EBLC framework tailored for FL gradient data to achieve high compression ratios while preserving model accuracy. The core of it is an innovative prediction mechanism that exploits temporal correlations across FL training rounds and structural regularities within convolutional kernels to reduce residual entropy. The predictor is compatible with standard quantizers and entropy coders and comprises (1) a cross-round magnitude predictor based on a normalized exponential moving average, and (2) a sign predictor that leverages gradient oscillation and kernel-level sign consistency. Experiments show that this new EBLC yields up to 1.53x higher compression ratios than SZ3 with lower accuracy loss. Integrated into a real-world FL framework, APPFL, it reduces end-to-end communication time by 76.1%-96.2% under various constrained-bandwidth scenarios, demonstrating strong scalability for real-world FL deployments.
• Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントのプライベートデータを公開せずに協調的なモデルトレーニングを可能にするが、そのデプロイメントは、クライアントと中央サーバ間の勾配を伝達する通信コストによって制約されることが多い。 勾配データのロッシー圧縮は、このオーバーヘッドを軽減することができ、エラーバウンドのロッシー圧縮(EBLC)は、その微細なユーティリティ圧縮トレードオフに対して特に魅力的である。 しかし、従来のEBLC法(例えばSZ)は、もともと空間的局所性が強い滑らかな科学データのために設計され、ローレンツォやエントロピー低減のための補間といった一般的な予測器に依存して圧縮率を向上させる。 対照的に、勾配テンソルは低い滑らかさと弱い空間相関を示し、これらの予測器は効果がなく、圧縮比が低くなる。 この制限に対処するため,モデルの精度を保ちながら高い圧縮率を達成するために,FL勾配データに適したEBLCフレームワークを提案する。 その中核は、FLトレーニングラウンド間の時間的相関と、畳み込みカーネル内の構造的規則性を利用して残エントロピーを減少させる革新的な予測機構である。 予測器は標準量子化器やエントロピーコーダと互換性があり,(1)正規化指数移動平均に基づくクロスラウンド等級予測器,(2)勾配振動とカーネルレベルの符号整合性を利用する符号予測器を備える。 実験の結果、新しいEBLCはSZ3よりも最大1.53倍高い圧縮率を示し、精度が低下した。 現実世界のFLフレームワークAPPFLに統合され、様々な制約付き帯域幅シナリオの下でエンドツーエンドの通信時間を76.1%-96.2%削減し、現実世界のFLデプロイメントに強力なスケーラビリティを示す。

関連論文リスト

• Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning [0.8220217498103312]
  フェデレートラーニング(FL)は、データのプライバシを保持しながら、複数のクライアントにわたる分散モデルトレーニングを可能にする。 本稿では、非バイアス圧縮機用に設計されたProjFLと、エラーフィードバック機構によるバイアス圧縮機のためのProjFL+EFの2つのアルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2025-11-05T13:11:30Z)
• Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning [29.727339562140653]
  フェデレーション平均化(FedAvg)におけるスパシフィケーションなどの現在のデータ圧縮手法は、フェデレーション学習(FL)のコミュニケーション効率を効果的に向上させる。 これらの手法は、異種帯域幅と非IIDデータによるストラグラー問題やモデル性能の低下といった課題に直面する。 非IIDデータに関連する問題を軽減しつつ,通信効率の向上を目的としたFLのための帯域幅対応圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T02:28:27Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees [53.950234267704]
  我々は、全リデュース勾配互換量子化法であるGlobal-QSGDを紹介する。 ベースライン量子化法で最大3.51%の分散トレーニングを高速化することを示す。
  論文  参考訳（メタデータ） (2023-05-29T21:32:15Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Compressing gradients by exploiting temporal correlation in momentum-SGD [17.995905582226463]
  エラーフィードバックのないシステムにおける時間相関を利用した圧縮手法を解析する。 ImageNetデータセットを用いた実験により,提案手法は通信速度を著しく低減することを示した。 我々は、最小勾配ノルムの有界性を確立することにより、予測誤差仮定の下でSGDの収束を証明した。
  論文  参考訳（メタデータ） (2021-08-17T18:04:06Z)
• ScaleCom: Scalable Sparsified Gradient Compression for Communication-Efficient Distributed Training [74.43625662170284]
  最先端プラットフォーム上でのDeep Neural Networks(DNN)の大規模分散トレーニングは,通信の厳しい制約が期待できる。 本稿では,学習者間の勾配分布の類似性を活用した新しい圧縮手法を提案する。 実験により,scalecomのオーバーヘッドは小さく,勾配トラフィックを直接低減し,高い圧縮率(65～400倍)と優れたスケーラビリティ(64名までの学習者,8～12倍のバッチサイズ)を提供する。
  論文  参考訳（メタデータ） (2021-04-21T02:22:10Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。