論文の概要: FedSLoP: Memory-Efficient Federated Learning with Low-Rank Gradient Projection

• arxiv url: http://arxiv.org/abs/2604.24012v2
• Date: Wed, 29 Apr 2026 07:35:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 13:51:54.052655
• Title: FedSLoP: Memory-Efficient Federated Learning with Low-Rank Gradient Projection
• Title（参考訳）: FedSLoP: 低ランク勾配投影を用いたメモリ効率のフェデレーション学習
• Authors: Yutong He, Zhengyang Huang, Jiahe Geng,
• Abstract要約: FedSLoPは効率的なフェデレート学習アルゴリズムである。 We show that FedSLoP converges to a first-order stationary point at a rate of $O (1/sqrNT)$。
• 参考スコア（独自算出の注目度）: 5.476264433576713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning enables a population of clients to collaboratively train machine learning models without exchanging their raw data, but standard algorithms such as FedAvg suffer from slow convergence and high communication and memory costs in heterogeneous, resource-constrained environments. We introduce FedSLoP, a federated optimization algorithm that combines stochastic low-rank subspace projections of gradients, thereby reducing the dimension of communicated and stored updates while preserving optimization progress. On the theoretical side, we develop a detailed nonconvex convergence analysis under standard smoothness and bounded-variance assumptions, showing that FedSLoP is guaranteed to converge to a first-order stationary point at a rate of $O(1/\sqrt{NT})$. On the empirical side, we conduct extensive experiments on federated MNIST classification with heterogeneous data partitions, showing that FedSLoP substantially reduces communication volume and client-side memory while achieving competitive or better accuracy compared with FedAvg and representative sparse or low-rank baselines. Together, our results demonstrate that random subspace momentum methods such as FedSLoP provide a principled and effective approach to communication- and memory-efficient federated learning. Codes are available at: https://github.com/pkumelon/FedSLoP.git.
• Abstract（参考訳）: フェデレーション学習は、多くのクライアントが生データを交換することなく機械学習モデルを協調的にトレーニングすることができるが、FedAvgのような標準的なアルゴリズムは、不均一でリソースに制約のある環境において、収束が遅く、高い通信とメモリコストに悩まされている。 我々は、勾配の確率的低ランク部分空間投影を組み合わせたフェデレート最適化アルゴリズムであるFedSLoPを導入し、最適化の進捗を保ちながら、通信および記憶された更新の次元を小さくする。 理論面では、FedSLoPが1次定常点に$O(1/\sqrt{NT})$で収束することが保証されていることを示す。 実験的な面では、フェデレーションMNIST分類と異種データ分割を併用した広範な実験を行い、FedSLoPは、FedAvgや代表スパースやローランクのベースラインと比較して、競争力や精度を向上しつつ、通信量やクライアント側メモリを大幅に削減することを示した。 この結果から,FedSLoPのようなランダムな部分空間運動量法は,コミュニケーションとメモリ効率のよいフェデレーション学習に原則的かつ効果的なアプローチを提供することが示された。 コードは、https://github.com/pkumelon/FedSLoP.git.comで入手できる。

関連論文リスト

• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• Decentralized Federated Learning by Partial Message Exchange [36.48306604538227]
  Decentralized Federated Learning (DFL) は、大規模な異種ネットワーク上での協調学習を可能にする、変革的なサーバフリーパラダイムとして登場した。 本稿では,ランダムに選択されたスパース座標のみを2つの隣接ノード間で交換できる新しいアルゴリズムPaMEを開発する。 PaMEは、高いレベルのプライバシーを維持しながら、精度を犠牲にすることなく、通信コストを大幅に削減する。
  論文  参考訳（メタデータ） (2026-03-02T10:57:18Z)
• Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning [0.8220217498103312]
  フェデレートラーニング(FL)は、データのプライバシを保持しながら、複数のクライアントにわたる分散モデルトレーニングを可能にする。 本稿では、非バイアス圧縮機用に設計されたProjFLと、エラーフィードバック機構によるバイアス圧縮機のためのProjFL+EFの2つのアルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2025-11-05T13:11:30Z)
• FedDuA: Doubly Adaptive Federated Learning [2.6108066206600555]
  フェデレーション学習(Federated Learning)は、クライアントが生データを共有せずにグローバルモデルを共同でトレーニングする分散学習フレームワークである。 我々は、ミラー降下レンズによる中央サーバ最適化手順を定式化し、FedDuAと呼ばれる新しいフレームワークを提案する。 提案した2次適応型ステップサイズルールは最小限最適であり,凸対象に対する収束解析を提供する。
  論文  参考訳（メタデータ） (2025-05-16T11:15:27Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。