論文の概要: Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training

• arxiv url: http://arxiv.org/abs/2211.05554v1
• Date: Thu, 10 Nov 2022 13:20:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 14:56:20.459503
• Title: Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training
• Title（参考訳）: サブスペーストレーニングによるロバスト連合学習のためのサーバサイドアグリゲーションの最適化
• Authors: Yueqi Xie, Weizhong Zhang, Renjie Pi, Fangzhao Wu, Qifeng Chen, Xing Xie, Sunghun Kim
• Abstract要約: クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
• 参考スコア（独自算出の注目度）: 80.03567604524268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-IID data distribution across clients and poisoning attacks are two main challenges in real-world federated learning systems. While both of them have attracted great research interest with specific strategies developed, no known solution manages to address them in a unified framework. To jointly overcome both challenges, we propose SmartFL, a generic approach that optimizes the server-side aggregation process with a small clean server-collected proxy dataset (e.g., around one hundred samples, 0.2% of the dataset) via a subspace training technique. Specifically, the aggregation weight of each participating client at each round is optimized using the server-collected proxy data, which is essentially the optimization of the global model in the convex hull spanned by client models. Since at each round, the number of tunable parameters optimized on the server side equals the number of participating clients (thus independent of the model size), we are able to train a global model with massive parameters using only a small amount of proxy data. We provide theoretical analyses of the convergence and generalization capacity for SmartFL. Empirically, SmartFL achieves state-of-the-art performance on both federated learning with non-IID data distribution and federated learning with malicious clients. The source code will be released.
• Abstract（参考訳）: クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 これら2つは、特定の戦略が開発されて大きな研究の関心を集めているが、既知のソリューションが統一されたフレームワークでそれらに対処することはない。 両者の課題を協調的に克服するため,我々は,サブスペーストレーニング手法を用いて,サーバサイドアグリゲーションプロセスを小さくクリーンなサーバ集約型プロキシデータセット(約100サンプル,約0.2%のデータセット)で最適化する汎用的アプローチであるsmartflを提案する。 具体的には,各ラウンドにおける各クライアントの集約重みを,クライアントモデルに分散した凸内包のグローバルモデルの最適化であるサーバコンパイルプロキシデータを用いて最適化する。 各ラウンドにおいて、サーバ側で最適化されたチューニング可能なパラメータの数は、参加するクライアント数(モデルサイズに依存しない)に等しいため、少量のプロキシデータを使用して、巨大なパラメータを持つグローバルモデルをトレーニングすることができる。 我々はsmartflの収束と一般化能力に関する理論的解析を行う。 SmartFLは、非IIDデータ分散によるフェデレーション学習と、悪意のあるクライアントによるフェデレーション学習の両方において、最先端のパフォーマンスを実現する。 ソースコードはリリースされます。

関連論文リスト

• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
  Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。 本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。 提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
  論文  参考訳（メタデータ） (2023-12-29T01:44:20Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
  Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。 本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:06:29Z)
• DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
  非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
  論文  参考訳（メタデータ） (2022-11-20T06:13:06Z)
• ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning Client Deployment Scheme [37.099990745974196]
  フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。 私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。 遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
  論文  参考訳（メタデータ） (2022-11-05T13:41:19Z)
• FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning [4.02923738318937]
  異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。 この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。 我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
  論文  参考訳（メタデータ） (2022-08-04T04:24:16Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• FedSmart: An Auto Updating Federated Learning Optimization Mechanism [23.842595615337565]
  フェデレーション学習は、データのプライバシ保護に重要な貢献をしている。 データ共有戦略や事前トレーニングのような、非IIDデータに対するモデルの堅牢性を保証する既存の方法は、プライバシリークにつながる可能性がある。 本稿では、最適化のための性能に基づくパラメータ戻り手法を導入し、フェデレートSmartと呼ぶ。
  論文  参考訳（メタデータ） (2020-09-16T03:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。