論文の概要: Federated Learning Robust to Byzantine Attacks: Achieving Zero Optimality Gap

• arxiv url: http://arxiv.org/abs/2308.10427v1
• Date: Mon, 21 Aug 2023 02:43:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 15:29:55.412419
• Title: Federated Learning Robust to Byzantine Attacks: Achieving Zero Optimality Gap
• Title（参考訳）: ビザンチン攻撃に頑健な連合学習: ゼロ最適ギャップの達成
• Authors: Shiyuan Zuo, Rongfei Fan, Han Hu, Ning Zhang, and Shimin Gong
• Abstract要約: 本稿では,悪質なビザンツ人攻撃に効果的に取り組むことのできる,連邦学習(FL)のためのロバストな集約手法を提案する。 各ユーザでは、モデルのパラメータを複数のステップで更新し、イテレーションで調整可能となり、アグリゲーションセンターに直接プッシュする。
• 参考スコア（独自算出の注目度）: 21.50616436951285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a robust aggregation method for federated learning (FL) that can effectively tackle malicious Byzantine attacks. At each user, model parameter is firstly updated by multiple steps, which is adjustable over iterations, and then pushed to the aggregation center directly. This decreases the number of interactions between the aggregation center and users, allows each user to set training parameter in a flexible way, and reduces computation burden compared with existing works that need to combine multiple historical model parameters. At the aggregation center, geometric median is leveraged to combine the received model parameters from each user. Rigorous proof shows that zero optimality gap is achieved by our proposed method with linear convergence, as long as the fraction of Byzantine attackers is below half. Numerical results verify the effectiveness of our proposed method.
• Abstract（参考訳）: 本稿では,悪質なビザンツ人攻撃に効果的に対処できる,連邦学習(FL)のための頑健な集約手法を提案する。 各ユーザでは、まずモデルパラメータを複数のステップで更新し、イテレーションで調整可能となり、アグリゲーションセンターに直接プッシュする。 これにより、アグリゲーションセンタとユーザ間のインタラクション数が減少し、各ユーザがフレキシブルな方法でトレーニングパラメータを設定することができ、複数の履歴モデルパラメータを組み合わせる必要のある既存の作業と比べて計算負担が軽減される。 集約センタでは、幾何学的中央値を利用して、各ユーザから受信したモデルパラメータを組み合わせる。 厳密な証明は、ビザンティン攻撃者の比率が半分以下である限り、線形収束を伴う提案手法によってゼロ最適性ギャップが達成されることを示す。 提案手法の有効性を数値的に検証した。

関連論文リスト

• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  モデルマージは、同じトレーニング済みモデルから細調整された複数のシングルタスクモデルをマルチタスクモデルに結合する効果的なアプローチである。 既存のモデルマージ手法は、平均的なタスク精度の向上に重点を置いている。 Amortized Pareto Front (MAP) を用いた新しい低計算アルゴリズム Model Merging を導入する。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Adversarial Collaborative Filtering for Free [27.949683060138064]
  CF(Collaborative Filtering)は、ユーザが関心のある項目を見つけるのに役立つ。 既存の方法はノイズの多いデータ問題に悩まされ、推奨の質に悪影響を及ぼす。 本稿では, 計算コストを犠牲にすることなく, 対向学習を行う簡易かつ効果的な手法として, シャープネス対応協調フィルタリング(CF)を提案する。
  論文  参考訳（メタデータ） (2023-08-20T19:25:38Z)
• Flag Aggregator: Scalable Distributed Training under Failures and Augmented Losses using Convex Optimization [14.732408788010313]
  MLアプリケーションはますます、複雑なディープラーニングモデルと大規模なデータセットに依存している。 計算とデータをスケールするために、これらのモデルはノードのクラスタ内で分散的にトレーニングされ、それらの更新はモデルに適用される前に集約される。 これらの設定にデータ拡張を加えることで、堅牢で効率的なアグリゲーションシステムが必要である。 この手法は,最先端のビザンツ系レジリエントアグリゲータのロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-02-12T06:38:30Z)
• A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression [8.663322701649454]
  大規模多重回帰に対する新しい経験的ベイズ手法を提案する。 当社のアプローチでは、フレキシブルな"適応縮小"と変分近似の2つの主要なアイデアが組み合わさっている。 提案手法では, 後進平均値がペナル化回帰問題を解く。
  論文  参考訳（メタデータ） (2022-08-23T12:42:57Z)
• Suppressing Poisoning Attacks on Federated Learning for Medical Imaging [4.433842217026879]
  本稿では, ビザンチン障害に対する耐性を有する分散型外乱抑制法(DOS)を提案する。 提案手法は,異なるクライアントのローカルパラメータ更新間の距離を計算し,各クライアントに対してアウトラヤスコアを求める。 得られたアウトリーチスコアはソフトマックス関数を用いて正規化重みに変換され、局所パラメータの重み付け平均がグローバルモデル更新に使用される。
  論文  参考訳（メタデータ） (2022-07-15T00:43:34Z)
• Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
  本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。 提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
  論文  参考訳（メタデータ） (2022-04-23T02:45:55Z)
• Learning over No-Preferred and Preferred Sequence of Items for Robust Recommendation (Extended Abstract) [69.50145858681951]
  本稿では,暗黙のフィードバックよりも大規模レコメンダシステム(RS)を訓練するための理論的に支持された逐次戦略を提案する。 本稿では,モーメント法と勾配法のいずれかを用いてモデルパラメータを更新する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-26T22:29:43Z)
• Personalized Federated Learning via Convex Clustering [72.15857783681658]
  本稿では,局所凸型ユーザコストを用いた個人化フェデレーション学習のためのアルゴリズム群を提案する。 提案するフレームワークは,異なるユーザのモデルの違いをペナル化する凸クラスタリングの一般化に基づいている。
  論文  参考訳（メタデータ） (2022-02-01T19:25:31Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Learning over no-Preferred and Preferred Sequence of items for Robust Recommendation [66.8722561224499]
  暗黙のフィードバックよりも大規模なレコメンダーシステム(RS)を訓練するための理論的に確立されたシーケンシャル戦略を提案する。 本稿では、モデルパラメータをモメンタリメソッドまたはグラデーションベースのアプローチで更新するこの戦略の2つのバリエーションを紹介します。
  論文  参考訳（メタデータ） (2020-12-12T22:10:15Z)
• An Efficient Framework for Clustered Federated Learning [26.24231986590374]
  本稿では,ユーザがクラスタに分散するフェデレーション学習(FL)の問題に対処する。 反復フェデレーションクラスタリングアルゴリズム(IFCA)を提案する。 ニューラルネットワークのような非分割問題では,アルゴリズムが効率的であることを示す。
  論文  参考訳（メタデータ） (2020-06-07T08:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。