Fugu-MT 論文翻訳(概要): Communication-Efficient Federated Learning by Exploiting Spatio-Temporal Correlations of Gradients

論文の概要: Communication-Efficient Federated Learning by Exploiting Spatio-Temporal Correlations of Gradients

arxiv url: http://arxiv.org/abs/2601.10491v1
Date: Thu, 15 Jan 2026 15:11:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-16 19:43:19.190813
Title: Communication-Efficient Federated Learning by Exploiting Spatio-Temporal Correlations of Gradients
Title（参考訳）: 勾配の時空間相関を爆発させることによるコミュニケーション効率の良いフェデレーションラーニング
Authors: Shenlong Zheng, Zhen Zhang, Yuhui Deng, Geyong Min, Lin Cui,
Abstract要約: GradESTCは空間的相関と時間的相関を利用する圧縮技術である。完全な勾配の代わりに、軽量な組合せ係数と、更新された基底ベクトルを限定的に送信することで、通信オーバーヘッドを著しく低減する。
参考スコア（独自算出の注目度）: 28.747595687821843
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Communication overhead is a critical challenge in federated learning, particularly in bandwidth-constrained networks. Although many methods have been proposed to reduce communication overhead, most focus solely on compressing individual gradients, overlooking the temporal correlations among them. Prior studies have shown that gradients exhibit spatial correlations, typically reflected in low-rank structures. Through empirical analysis, we further observe a strong temporal correlation between client gradients across adjacent rounds. Based on these observations, we propose GradESTC, a compression technique that exploits both spatial and temporal gradient correlations. GradESTC exploits spatial correlations to decompose each full gradient into a compact set of basis vectors and corresponding combination coefficients. By exploiting temporal correlations, only a small portion of the basis vectors need to be dynamically updated in each round. GradESTC significantly reduces communication overhead by transmitting lightweight combination coefficients and a limited number of updated basis vectors instead of the full gradients. Extensive experiments show that, upon reaching a target accuracy level near convergence, GradESTC reduces uplink communication by an average of 39.79% compared to the strongest baseline, while maintaining comparable convergence speed and final accuracy to uncompressed FedAvg. By effectively leveraging spatio-temporal gradient structures, GradESTC offers a practical and scalable solution for communication-efficient federated learning.
Abstract（参考訳）: 通信オーバーヘッドは、特に帯域幅に制約のあるネットワークにおいて、フェデレーション学習において重要な課題である。通信オーバーヘッドを低減するために多くの手法が提案されているが、そのほとんどは個々の勾配を圧縮することに集中しており、それらの時間的相関を見越している。以前の研究では、勾配は一般に低ランク構造に反映される空間的相関を示すことが示されている。さらに, 実測分析により, 隣接するラウンド間のクライアント勾配の時間的相関を強く観察する。これらの観測に基づいて,空間的および時間的勾配相関を利用した圧縮手法であるGradESTCを提案する。 GradESTCは空間相関を利用して、各全勾配を基底ベクトルと対応する組合せ係数のコンパクトな集合に分解する。時間的相関を利用して、各ラウンドにおいて基底ベクトルのごく一部を動的に更新する必要がある。 GradESTCは、完全な勾配ではなく、軽量な組合せ係数と限られた更新ベースベクトルを伝達することで、通信オーバーヘッドを著しく低減する。大規模な実験により、GradESTCは収束に近い目標精度レベルに達すると、最強のベースラインに比べて平均39.79%のアップリンク通信を削減し、非圧縮のFedAvgに匹敵する収束速度と最終的な精度を維持した。時空間勾配構造を効果的に活用することにより、GradESTCはコミュニケーション効率のよいフェデレーション学習のための実用的でスケーラブルなソリューションを提供する。

関連論文リスト

Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning [0.8220217498103312]
フェデレートラーニング(FL)は、データのプライバシを保持しながら、複数のクライアントにわたる分散モデルトレーニングを可能にする。本稿では、非バイアス圧縮機用に設計されたProjFLと、エラーフィードバック機構によるバイアス圧縮機のためのProjFL+EFの2つのアルゴリズムを紹介する。
論文参考訳（メタデータ） (2025-11-05T13:11:30Z)
Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。非滑らかな正規化はしばしば機械学習タスクに組み込まれる。本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-04-17T08:32:25Z)
Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文参考訳（メタデータ） (2024-10-09T06:17:16Z)
RS-DGC: Exploring Neighborhood Statistics for Dynamic Gradient Compression on Remote Sensing Image Interpretation [23.649838489244917]
通信コスト削減のためのGC技術として,勾配スペーシフィケーションの有効性が検証されている。本稿では,RS-DGC画像解釈のための近傍統計指標を用いた簡易かつ効果的な動的勾配圧縮手法を提案する。 NWPU-RESISC45データセットの50倍以上の通信圧縮で0.51%の精度向上を実現した。
論文参考訳（メタデータ） (2023-12-29T09:24:26Z)
Efficient Semantic Matching with Hypercolumn Correlation [58.92933923647451]
HCCNetは効率的で効果的なセマンティックマッチング手法である。マルチスケール相関写像の完全なポテンシャルを利用する。 4D相関マップ上では、高価なマッチング関係のマイニングに頼っている。
論文参考訳（メタデータ） (2023-11-07T20:40:07Z)
Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
論文参考訳（メタデータ） (2022-06-28T13:10:40Z)
Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文参考訳（メタデータ） (2021-11-30T02:13:54Z)
Compressing gradients by exploiting temporal correlation in momentum-SGD [17.995905582226463]
エラーフィードバックのないシステムにおける時間相関を利用した圧縮手法を解析する。 ImageNetデータセットを用いた実験により,提案手法は通信速度を著しく低減することを示した。我々は、最小勾配ノルムの有界性を確立することにより、予測誤差仮定の下でSGDの収束を証明した。
論文参考訳（メタデータ） (2021-08-17T18:04:06Z)
Fast Federated Learning by Balancing Communication Trade-Offs [9.89867121050673]
Federated Learning (FL)は最近、大規模なプライバシ保護機械学習に対して多くの注目を集めている。頻繁な勾配透過による通信オーバーヘッドはFLを減速させる。本稿では,Fast FL(Fast FL)とFast FL(Fast FL)の2変数を協調的に動的に調整し,学習誤差を最小限に抑える拡張FLスキームを提案する。
論文参考訳（メタデータ） (2021-05-23T21:55:14Z)
Sparse Communication for Training Deep Networks [56.441077560085475]
同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
論文参考訳（メタデータ） (2020-09-19T17:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。