Fugu-MT 論文翻訳(概要): Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets

論文の概要: Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets

arxiv url: http://arxiv.org/abs/2408.09539v1
Date: Sun, 18 Aug 2024 16:50:39 GMT
ステータス: 処理完了
システム内更新日: 2024-08-20 18:24:47.949786
Title: Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets
Title（参考訳）: 非IIDデータセット上の正規化勾配を用いたビザンチン耐性フェデレート学習
Authors: Shiyuan Zuo, Xingrun Yan, Rongfei Fan, Li Shen, Puning Zhao, Jie Xu, Han Hu,
Abstract要約: 実践的連合学習(FLNGA)では、悪意のある攻撃やデータ不均一性の存在が学習プロセスにバイアスをもたらすことが多い。本稿では、アップロードされた局所勾配をアグリゲーションの前に正規化する正規化勾配単位(Fed-M)モデルを提案し、$mathcalO(pM)$を達成した。
参考スコア（独自算出の注目度）: 23.640506243685863
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In practical federated learning (FL) systems, the presence of malicious Byzantine attacks and data heterogeneity often introduces biases into the learning process. However, existing Byzantine-robust methods typically only achieve a compromise between adaptability to different loss function types (including both strongly convex and non-convex) and robustness to heterogeneous datasets, but with non-zero optimality gap. Moreover, this compromise often comes at the cost of high computational complexity for aggregation, which significantly slows down the training speed. To address this challenge, we propose a federated learning approach called Federated Normalized Gradients Algorithm (Fed-NGA). Fed-NGA simply normalizes the uploaded local gradients to be unit vectors before aggregation, achieving a time complexity of $\mathcal{O}(pM)$, where $p$ represents the dimension of model parameters and $M$ is the number of participating clients. This complexity scale achieves the best level among all the existing Byzantine-robust methods. Furthermore, through rigorous proof, we demonstrate that Fed-NGA transcends the trade-off between adaptability to loss function type and data heterogeneity and the limitation of non-zero optimality gap in existing literature. Specifically, Fed-NGA can adapt to both non-convex loss functions and non-IID datasets simultaneously, with zero optimality gap at a rate of $\mathcal{O} (1/T^{\frac{1}{2} - \delta})$, where T is the iteration number and $\delta \in (0,\frac{1}{2})$. In cases where the loss function is strongly convex, the zero optimality gap achieving rate can be improved to be linear. Experimental results provide evidence of the superiority of our proposed Fed-NGA on time complexity and convergence performance over baseline methods.
Abstract（参考訳）: 実践的連合学習(FL)システムでは、悪意のあるビザンツ攻撃やデータ不均一性の存在が学習プロセスにバイアスをもたらすことが多い。しかし、既存のビザンチン・ロバスト法は、通常、異なる損失関数タイプ(強い凸と非凸の両方を含む)への適応性と異種データセットへの堅牢性の間の妥協しか達成しないが、非ゼロ最適性ギャップがある。さらに、この妥協はしばしば、集約のための高い計算複雑性のコストが伴うため、トレーニング速度が大幅に低下する。この課題に対処するため,Fed-NGA(Federated Normalized Gradients Algorithm)と呼ばれるフェデレート学習手法を提案する。 Fed-NGAは単にアップロードされた局所勾配をアグリゲーションの前に単位ベクトルとして正規化し、$\mathcal{O}(pM)$の時間複雑性を達成する。この複雑さのスケールは、既存のビザンチン・ロバスト法の中で最高のレベルを達成する。さらに、厳密な証明により、Fed-NGAは、損失関数型への適応性とデータ不均一性と、既存の文献における非ゼロ最適性ギャップの制限との間のトレードオフを超越していることを示す。具体的には、Fed-NGAは非凸損失関数と非IIDデータセットの両方に同時に適応でき、0の最適性ギャップを$\mathcal{O} (1/T^{\frac{1}{2} - \delta})$と$\delta \in (0,\frac{1}{2})$で表すことができる。損失関数が強く凸している場合には、ゼロ最適性ギャップの達成率を線形に改善することができる。実験結果から,提案したFed-NGAがベースライン法よりも時間的複雑性と収束性能に優れていることを示す。

論文の概要: Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets

関連論文リスト