論文の概要: Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity

• arxiv url: http://arxiv.org/abs/2403.13374v1
• Date: Wed, 20 Mar 2024 08:15:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 17:38:28.103197
• Title: Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity
• Title（参考訳）: データ不均一性を考慮したビザンチン耐性フェデレーション学習
• Authors: Shiyuan Zuo, Xingrun Yan, Rongfei Fan, Han Hu, Hangguan Shan, Tony Q. S. Quek,
• Abstract要約: 本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。 Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
• 参考スコア（独自算出の注目度）: 54.145730036889496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper deals with federated learning (FL) in the presence of malicious Byzantine attacks and data heterogeneity. A novel Robust Average Gradient Algorithm (RAGA) is proposed, which leverages the geometric median for aggregation and can freely select the round number for local updating. Different from most existing resilient approaches, which perform convergence analysis based on strongly-convex loss function or homogeneously distributed dataset, we conduct convergence analysis for not only strongly-convex but also non-convex loss function over heterogeneous dataset. According to our theoretical analysis, as long as the fraction of dataset from malicious users is less than half, RAGA can achieve convergence at rate $\mathcal{O}({1}/{T^{2/3- \delta}})$ where $T$ is the iteration number and $\delta \in (0, 2/3)$ for non-convex loss function, and at linear rate for strongly-convex loss function. Moreover, stationary point or global optimal solution is proved to obtainable as data heterogeneity vanishes. Experimental results corroborate the robustness of RAGA to Byzantine attacks and verifies the advantage of RAGA over baselines on convergence performance under various intensity of Byzantine attacks, for heterogeneous dataset.
• Abstract（参考訳）: 本稿では、悪意のあるビザンツ人攻撃やデータ不均一性の存在下での連邦学習(FL)を扱う。 新しいロバスト平均勾配アルゴリズム (RAGA) が提案され、このアルゴリズムは幾何中央値を利用してアグリゲーションを行い、局所更新のためにラウンド番号を自由に選択できる。 強凸損失関数や均質分布データセットに基づく収束解析を行う既存のレジリエントアプローチとは異なり、強凸損失関数だけでなく、不均一なデータセット上の非凸損失関数に対しても収束解析を行う。 我々の理論分析によると、悪意のあるユーザーのデータセットの分数の半分以下である限り、RAGAは、$T$が反復数、$\delta \in (0, 2/3)$が非凸損失関数、および強凸損失関数の線形レートで収束することができる。 さらに、データ不均一性がなくなると、定常点または大域最適解が得られることが証明される。 実験結果は、ビザンチン攻撃に対するRAGAのロバスト性を相関させ、不均一なデータセットに対して、ビザンチン攻撃の様々な強度下での収束性能に基づくRAGAの優位性を検証した。

関連論文リスト

• Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets [23.640506243685863]
  実践的連合学習(FLNGA)では、悪意のある攻撃やデータ不均一性の存在が学習プロセスにバイアスをもたらすことが多い。 本稿では、アップロードされた局所勾配をアグリゲーションの前に正規化する正規化勾配単位(Fed-M)モデルを提案し、$mathcalO(pM)$を達成した。
  論文  参考訳（メタデータ） (2024-08-18T16:50:39Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Globally Convergent Accelerated Algorithms for Multilinear Sparse Logistic Regression with $\ell_0$-constraints [2.323238724742687]
  多重線形ロジスティック回帰は多次元データ解析の強力なツールである。 本稿では,$ell_0$-MLSRを解くために,アクセラレーションされた近位置換最小値MLSRモデルを提案する。 また、APALM$+$が一階臨界点に大域収束し、クルディ・ロジャシエヴィチ性質を用いて収束を確立することも示している。
  論文  参考訳（メタデータ） (2023-09-17T11:05:08Z)
• On the Size and Approximation Error of Distilled Sets [57.61696480305911]
  カーネル・インジェクション・ポイント(Kernel Inducing Points)などのデータセット蒸留のカーネル・リッジ回帰に基づく手法について理論的に考察する。 我々は、RFF空間におけるその解が元のデータの解と一致するように、元の入力空間に小さな一組のインスタンスが存在することを証明した。 KRR溶液は、全入力データに最適化されたKRR溶液に対して近似を与えるこの蒸留されたインスタンスセットを用いて生成することができる。
  論文  参考訳（メタデータ） (2023-05-23T14:37:43Z)
• Improved Analysis of Score-based Generative Modeling: User-Friendly Bounds under Minimal Smoothness Assumptions [9.953088581242845]
  2次モーメントを持つ任意のデータ分布に対して,コンバージェンス保証と複雑性を提供する。 我々の結果は、対数共空性や機能的不等式を前提としない。 我々の理論解析は、異なる離散近似の比較を提供し、実際の離散化点の選択を導くかもしれない。
  論文  参考訳（メタデータ） (2022-11-03T15:51:00Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• Robust Training in High Dimensions via Block Coordinate Geometric Median Descent [69.47594803719333]
  幾何学的中央値 (textGm) は、未破損データのロバストな推定を達成するための統計学における古典的な方法である。 本稿では,テキストscGmを一度に選択した座標ブロックにのみ適用することにより,スムーズな非テキスト問題に対して0.5の分解点を保持することができることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:55:50Z)
• Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression [0.0]
  本稿では、収束保証付き非正則正規化器のためのワーキングセットアルゴリズムを提案する。 その結果,ブロックコーディネートや勾配ソルバの完全解法と比較して高い利得を示した。
  論文  参考訳（メタデータ） (2020-06-24T07:40:31Z)
• Byzantine-Resilient SGD in High Dimensions on Heterogeneous Data [10.965065178451104]
  ビザンチン攻撃下での主作業者アーキテクチャにおける分散勾配降下(SGD)について検討した。 我々のアルゴリズムは、最大で$frac14$のビザンティン労働者を許容できる。
  論文  参考訳（メタデータ） (2020-05-16T04:15:27Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。