論文の概要: Dimensionality Reduction for Robust Federated Learning: A Theoretical Analysis and Convergence Guarantee

• arxiv url: http://arxiv.org/abs/2605.28335v1
• Date: Wed, 27 May 2026 11:39:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.009845
• Title: Dimensionality Reduction for Robust Federated Learning: A Theoretical Analysis and Convergence Guarantee
• Title（参考訳）: ロバストなフェデレーション学習のための次元化:理論的解析と収束保証
• Authors: Shiyuan Zuo, Jiashuo Li, Rongfei Fan, Han Hu, Jie Xu,
• Abstract要約: Federated Learning (FL)は、クライアントが生データを共有せずにモデルを協調的にトレーニングすることを可能にするが、ビザンティン攻撃に対して非常に脆弱である。 既存の堅牢なアプローチはこれらの脅威を中和するが、かなりの計算オーバーヘッドを発生させる。 ベクトルレベル距離に基づくロバストアグリゲータのための普遍加速度フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.954293251332894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) enables multiple clients to collaboratively train models without sharing raw data, but it is highly vulnerable to Byzantine attacks. Existing robust approaches can neutralize these threats but incur substantial computational overhead during high-dimensional gradient aggregation, an overhead that scales poorly with model size and increasingly dominates the training cost as modern models grow larger. To address this computational bottleneck, we propose Projected Dimensionality Reduction (PDR), a universal acceleration framework for vector-level distance-based robust aggregators, which performs robust aggregation by compressing gradients into a drastically smaller subspace via sparse random projection to efficiently compute reliability weights. This approach reduces the server computational complexity to an optimal $ \mathcal{O}(Mp) $, where $ M $ is the number of clients and $ p $ is the model dimension, matching the theoretical lower bound required merely to read the gradients. We establish convergence guarantees under standard FL assumptions in prior Byzantine-robust FL analyses. By leveraging the Subspace Embedding Theorem, we show that PDR achieves optimal convergence rates of $ \mathcal{O}(1/\sqrt{T}) $ for non-convex functions and $ \mathcal{O}(1/T) $ for strongly convex functions, where $ T $ denotes the number of iterations. Crucially, we mathematically demonstrate that this massive acceleration comes almost for free, merely inflating the inherent Byzantine error floor by a bounded, tunable factor of $ \frac{1+ε}{1-ε} $. Experimental results on benchmark datasets confirm that integrating PDR with existing aggregators yields orders of magnitude speedups in time efficiency while maintaining highly competitive convergence performance.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のクライアントが生データを共有せずに協力的にモデルをトレーニングすることを可能にするが、ビザンティン攻撃に対して非常に脆弱である。 既存の堅牢なアプローチは、これらの脅威を中和することができるが、高次元の勾配集約においてかなりの計算オーバーヘッドを発生させる。 この計算ボトルネックに対処するため,ベクトルレベル距離に基づくロバストアグリゲータのための汎用加速度フレームワークであるProjected dimensionality Reduction (PDR)を提案する。 このアプローチはサーバの計算複雑性を最適な$ \mathcal{O}(Mp) $に減らし、$ M $ はクライアントの数、$ p $ はモデル次元であり、勾配を読むのに必要となる理論的な下界と一致する。 我々は、Byzantine-robust FL解析における標準FL仮定の下で収束保証を確立する。 Subspace Embedding Theorem を利用して、PDR は非凸函数に対する $ \mathcal{O}(1/\sqrt{T}) $ と強凸関数に対する $ \mathcal{O}(1/T) $ の最適収束率を達成することを示した。 数学的には、この巨大な加速はほとんど自由であり、単に固有のビザンティンの誤差床を$ \frac{1+ε}{1-ε} $の有界で調整可能な因子で膨らませるだけである。 ベンチマークデータセットによる実験結果から、PDRと既存のアグリゲータの統合は、高い競合コンバージェンス性能を維持しながら、時間効率において桁違いのスピードアップをもたらすことが確認された。

関連論文リスト

• High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking [69.90407799170687]
  分散最適化における高確率収束保証について検討する。 その結果, 地平線上の条件は, 比較時間と同一であることがわかった。
  論文  参考訳（メタデータ） (2026-04-30T22:45:21Z)
• FedMPDD: Communication-Efficient Federated Learning with Privacy Preservation Attributes via Projected Directional Derivative [0.0]
  textttFedMPDD (textbfFederated Learning via textbfMulti-textbfProjected textbfDirectional textbfDerivatives) textttFedMPDDは、各クライアントの高次元勾配を、複数のランダムベクトルに沿って方向微分を計算することによってエンコードする。
  論文  参考訳（メタデータ） (2025-12-23T22:25:11Z)
• VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence [6.574641780732972]
  大規模非問題はディープラーニングでは一般的である。 ファーストオーダー(FO)は今日のベースラインとして機能する。 ZOアルゴリズムは計算量とメモリコストを減らす。 VAMOは、より少ない動的メモリ要求でこれらのゲインを達成する。
  論文  参考訳（メタデータ） (2025-05-20T05:31:15Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• SAPPHIRE: Preconditioned Stochastic Variance Reduction for Faster Large-Scale Statistical Learning [18.055120576191204]
  Ill-conditioned objectives and nonsmooth regularizers under the performance of traditional convex method。 本研究では,不条件な複合型大規模機械学習問題に対する分散自由解を提案する。
  論文  参考訳（メタデータ） (2025-01-27T10:36:45Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients [27.433334322019675]
  Federated Learning (FL)は、クライアントが生データを共有せずに、協力的にモデルをトレーニングすることを可能にする。 FLはByzantine攻撃やデータ不均一性の反復に弱いため、パフォーマンスが著しく低下する可能性がある。 フェデレート正規化勾配アルゴリズム (Federated Normalized Gradients Algorithm, NGA) を提案する。 既存手法に対するベンチマーク収束の実験結果
  論文  参考訳（メタデータ） (2024-08-18T16:50:39Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。