論文の概要: Communication Compression for Distributed Learning with Aggregate and Server-Guided Feedback

• arxiv url: http://arxiv.org/abs/2512.22623v1
• Date: Sat, 27 Dec 2025 15:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.141359
• Title: Communication Compression for Distributed Learning with Aggregate and Server-Guided Feedback
• Title（参考訳）: 集約型フィードバックとサーバガイド型フィードバックを用いた分散学習のためのコミュニケーション圧縮
• Authors: Tomas Ortega, Chun-Yin Huang, Xiaoxiao Li, Hamid Jafarkhani,
• Abstract要約: 分散学習、特にフェデレートラーニング(FL)は、通信コストにおいて重大なボトルネックに直面します。 本稿ではクライアント側の状態や制御変数を使わずにバイアス圧縮を可能にする2つの新しいフレームワークを提案する。 FLシナリオにおける実験結果は、我々のアプローチを検証する。
• 参考スコア（独自算出の注目度）: 43.69787537805927
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Distributed learning, particularly Federated Learning (FL), faces a significant bottleneck in the communication cost, particularly the uplink transmission of client-to-server updates, which is often constrained by asymmetric bandwidth limits at the edge. Biased compression techniques are effective in practice, but require error feedback mechanisms to provide theoretical guarantees and to ensure convergence when compression is aggressive. Standard error feedback, however, relies on client-specific control variates, which violates user privacy and is incompatible with stateless clients common in large-scale FL. This paper proposes two novel frameworks that enable biased compression without client-side state or control variates. The first, Compressed Aggregate Feedback (CAFe), uses the globally aggregated update from the previous round as a shared control variate for all clients. The second, Server-Guided Compressed Aggregate Feedback (CAFe-S), extends this idea to scenarios where the server possesses a small private dataset; it generates a server-guided candidate update to be used as a more accurate predictor. We consider Distributed Gradient Descent (DGD) as a representative algorithm and analytically prove CAFe's superiority to Distributed Compressed Gradient Descent (DCGD) with biased compression in the non-convex regime with bounded gradient dissimilarity. We further prove that CAFe-S converges to a stationary point, with a rate that improves as the server's data become more representative. Experimental results in FL scenarios validate the superiority of our approaches over existing compression schemes.
• Abstract（参考訳）: 分散学習、特にフェデレートラーニング(FL)は、通信コスト、特にエッジにおける非対称帯域幅制限によって制約されるクライアントからサーバへの更新のアップリンク伝達において、大きなボトルネックに直面します。 バイアス圧縮技術は、実際は有効であるが、理論的保証を提供し、圧縮が攻撃的である場合に収束を保証するためにエラーフィードバック機構を必要とする。 しかし、標準的なエラーフィードバックは、ユーザのプライバシに反し、大規模FLで一般的なステートレスクライアントと互換性のない、クライアント固有の制御変数に依存している。 本稿では,クライアント側の状態や制御変数を使わずにバイアス圧縮を可能にする2つの新しいフレームワークを提案する。 最初のCompressed Aggregate Feedback (CAFe)は、前回のラウンドからグローバルに集約されたアップデートを、すべてのクライアントで共有コントロール変数として使用します。 第2のサーバガイド圧縮アグリゲートフィードバック(CAFe-S)は、このアイデアを、サーバが小さなプライベートデータセットを持つシナリオにまで拡張する。 本研究では, 分散圧縮グラディエントDescent (DGD) を代表的アルゴリズムとみなし, 境界勾配差の非凸系において, バイアス圧縮によるCAFeの分散圧縮グラディエントDescent (DCGD) に対する優位性を解析的に証明する。 さらに、CAFe-Sが定常点に収束し、サーバのデータがより代表的になるにつれて、速度が向上することを示す。 FLシナリオにおける実験結果は、既存の圧縮方式よりも我々のアプローチの方が優れていることを実証する。

関連論文リスト

• Towards Federated Clustering: A Client-wise Private Graph Aggregation Framework [57.04850867402913]
  フェデレーションクラスタリングは、分散化されたラベルのないデータからパターンを抽出する課題に対処する。 本研究では,プライバシ保護のための知識共有媒体として,局所構造グラフを革新的に活用する新しいアルゴリズムSPP-FGCを提案する。 我々のフレームワークは最先端のパフォーマンスを実現し、認証可能なプライバシー保証を維持しつつ、フェデレーションベースラインよりも最大10%(NMI)のクラスタリング精度を向上させる。
  論文  参考訳（メタデータ） (2025-11-14T03:05:22Z)
• FedSparQ: Adaptive Sparse Quantization with Error Feedback for Robust & Efficient Federated Learning [7.461859467262201]
  フェデレートラーニング(FL)は、分散クライアント間の協調モデルトレーニングを可能にする。 FLは、制約されたネットワーク上での高次元モデル更新の頻繁な交換による通信オーバーヘッドに悩まされる。 本稿では,各クライアントの勾配を動的に分散する軽量圧縮フレームワークであるFedSparQを紹介する。
  論文  参考訳（メタデータ） (2025-11-05T12:38:08Z)
• Communication Compression for Distributed Learning without Control Variates [43.69787537805927]
  本稿では,過去の集約更新を利用して圧縮可能なクライアントを実現する分散アルゴリズムを提案する。 実験結果から,CAFeは既存の分散圧縮学習方式よりも優れていたことが確認された。
  論文  参考訳（メタデータ） (2024-12-05T18:46:20Z)
• Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification [49.66272783945571]
  Federated Knowledge Graphs Embedding Learning (FKGE)は、パラメータのかなりのサイズと広範なコミュニケーションラウンドから生じるコミュニケーション効率の課題に直面する。 本稿では,Entity-Wise Top-K Sparsification 戦略に基づく双方向通信効率のFedSを提案する。
  論文  参考訳（メタデータ） (2024-06-19T05:26:02Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning [28.185096784982544]
  フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。 我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。 実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
  論文  参考訳（メタデータ） (2022-12-19T14:19:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。