Fugu-MT 論文翻訳(概要): Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients

論文の概要: Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients

arxiv url: http://arxiv.org/abs/2408.09539v2
Date: Mon, 29 Sep 2025 06:35:49 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-30 22:32:18.690927
Title: Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients
Title（参考訳）: 偏在正規化勾配によるビザンチン攻撃に対する効果的なフェデレート学習とデータ不均一性
Authors: Shiyuan Zuo, Xingrun Yan, Rongfei Fan, Li Shen, Puning Zhao, Jie Xu, Han Hu,
Abstract要約: Federated Learning (FL)は、クライアントが生データを共有せずに、協力的にモデルをトレーニングすることを可能にする。 FLはByzantine攻撃やデータ不均一性の反復に弱いため、パフォーマンスが著しく低下する可能性がある。フェデレート正規化勾配アルゴリズム (Federated Normalized Gradients Algorithm, NGA) を提案する。既存手法に対するベンチマーク収束の実験結果
参考スコア（独自算出の注目度）: 27.433334322019675
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) enables multiple clients to collaboratively train models without sharing raw data, but is vulnerable to Byzantine attacks and data heterogeneity, which can severely degrade performance. Existing Byzantine-robust approaches tackle data heterogeneity, but incur high computational overhead during gradient aggregation, thereby slowing down the training process. To address this issue, we propose a simple yet effective Federated Normalized Gradients Algorithm (Fed-NGA), which performs aggregation by merely computing the weighted mean of the normalized gradients from each client. This approach yields a favorable time complexity of $\mathcal{O}(pM)$, where $p$ is the model dimension and $M$ is the number of clients. We rigorously prove that Fed-NGA is robust to both Byzantine faults and data heterogeneity. For non-convex loss functions, Fed-NGA achieves convergence to a neighborhood of stationary points under general assumptions, and further attains zero optimality gap under some mild conditions, which is an outcome rarely achieved in existing literature. In both cases, the convergence rate is $\mathcal{O}(1/T^{\frac{1}{2} - \delta})$, where $T$ denotes the number of iterations and $\delta \in (0, 1/2)$. Experimental results on benchmark datasets confirm the superior time efficiency and convergence performance of Fed-NGA over existing methods.
Abstract（参考訳）: フェデレートラーニング(FL)は、複数のクライアントが生データを共有せずに協力的にモデルをトレーニングすることを可能にするが、ビザンティン攻撃やデータ不均一性に弱いため、パフォーマンスが著しく低下する可能性がある。既存のByzantine-Robustアプローチはデータの不均一性に対処するが、勾配集約中に高い計算オーバーヘッドを発生させるため、トレーニングプロセスを遅くする。この問題に対処するために,各クライアントからの正規化勾配の重み付け平均を単に計算するだけで集約を行う,シンプルで効果的なフェデレート正規化勾配アルゴリズム(Fed-NGA)を提案する。このアプローチは、$\mathcal{O}(pM)$で、$p$はモデル次元、$M$はクライアントの数である。我々は、Fed-NGAがビザンツの断層とデータ不均一性の両方に対して堅牢であることを厳格に証明する。非凸損失関数に対して、Fed-NGAは一般的な仮定の下で定常点の近傍に収束し、さらにいくつかの穏やかな条件下ではゼロ最適性ギャップを達成し、これは既存の文献ではほとんど得られない結果である。どちらの場合も収束率は$\mathcal{O}(1/T^{\frac{1}{2} - \delta})$であり、$T$は反復数を表し、$\delta \in (0, 1/2)$である。ベンチマークデータセットによる実験結果から,Fed-NGAの既存手法よりも優れた時間効率と収束性能が確認された。

関連論文リスト

Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。非滑らかな正規化はしばしば機械学習タスクに組み込まれる。本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-04-17T08:32:25Z)
Non-Convex Optimization in Federated Learning via Variance Reduction and Adaptive Learning [13.83895180419626]
本稿では,不均一なデータ間の非エポジロン設定に適応学習を用いたモーメントに基づく分散低減手法を提案する。異種データによる学習率調整から,分散に関する課題を克服し,効率を損なうとともに,収束の遅さを抑えることを目的としている。
論文参考訳（メタデータ） (2024-12-16T11:02:38Z)
Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-08-10T21:50:19Z)
Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。 Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
論文参考訳（メタデータ） (2024-03-20T08:15:08Z)
CoLiDE: Concomitant Linear DAG Estimation [12.415463205960156]
観測データから線形方程式への非巡回グラフ構造学習の問題に対処する。本稿では,空間認識学習DAGのための新しい凸スコア関数を提案する。
論文参考訳（メタデータ） (2023-10-04T15:32:27Z)
Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-12-19T14:48:54Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
Gradient-Free Methods for Deterministic and Stochastic Nonsmooth Nonconvex Optimization [94.19177623349947]
非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。 2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。 GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
論文参考訳（メタデータ） (2022-09-12T06:53:24Z)
FEDNEST: Federated Bilevel, Minimax, and Compositional Optimization [53.78643974257301]
多くの現代のML問題は、ミニマックスと合成最適化を仮定したネストされた双レベルプログラミングに該当する。我々は、一般的なネスト問題に対処するフェデレーション付き交互勾配法を提案する。
論文参考訳（メタデータ） (2022-05-04T17:48:55Z)
Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction [104.41634756395545]
具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案する。 FedBiOの複雑性は$O(epsilon-1.5)$である。本アルゴリズムは数値実験において,他のベースラインと比較して優れた性能を示す。
論文参考訳（メタデータ） (2022-05-03T16:40:22Z)
On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning [15.300983585090794]
任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
論文参考訳（メタデータ） (2022-01-27T20:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。