Fugu-MT 論文翻訳(概要): Towards Understanding Quality Challenges of the Federated Learning: A First Look from the Lens of Robustness

論文の概要: Towards Understanding Quality Challenges of the Federated Learning: A First Look from the Lens of Robustness

arxiv url: http://arxiv.org/abs/2201.01409v1
Date: Wed, 5 Jan 2022 02:06:39 GMT
ステータス: 処理完了
システム内更新日: 2022-01-06 17:58:47.009932
Title: Towards Understanding Quality Challenges of the Federated Learning: A First Look from the Lens of Robustness
Title（参考訳）: フェデレーションラーニングにおける品質課題の理解に向けて--ロバストネスのレンズからの一考察
Authors: Amin Eslami Abyane, Derui Zhu, Roberto Medeiros de Souza, Lei Ma, Hadi Hemmati
Abstract要約: Federated Learning(FL)は、すべての参加者のデータセット全体をトレーニングに活用しながら、ユーザのデータのプライバシを保護することを目的としている。 FLは依然として攻撃やビザンチン障害などの品質問題に悩まされる傾向にある。本報告では,攻撃・故障発生におけるSOTA(State-of-the-art)の強靭なFL手法の有効性について検討する。
参考スコア（独自算出の注目度）: 4.822471415125479
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) is a widely adopted distributed learning paradigm in practice, which intends to preserve users' data privacy while leveraging the entire dataset of all participants for training. In FL, multiple models are trained independently on the users and aggregated centrally to update a global model in an iterative process. Although this approach is excellent at preserving privacy by design, FL still tends to suffer from quality issues such as attacks or byzantine faults. Some recent attempts have been made to address such quality challenges on the robust aggregation techniques for FL. However, the effectiveness of state-of-the-art (SOTA) robust FL techniques is still unclear and lacks a comprehensive study. Therefore, to better understand the current quality status and challenges of these SOTA FL techniques in the presence of attacks and faults, in this paper, we perform a large-scale empirical study to investigate the SOTA FL's quality from multiple angles of attacks, simulated faults (via mutation operators), and aggregation (defense) methods. In particular, we perform our study on two generic image datasets and one real-world federated medical image dataset. We also systematically investigate the effect of the distribution of attacks/faults over users and the independent and identically distributed (IID) factors, per dataset, on the robustness results. After a large-scale analysis with 496 configurations, we find that most mutators on each individual user have a negligible effect on the final model. Moreover, choosing the most robust FL aggregator depends on the attacks and datasets. Finally, we illustrate that it is possible to achieve a generic solution that works almost as well or even better than any single aggregator on all attacks and configurations with a simple ensemble model of aggregators.
Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、実践的に広く採用されている分散学習パラダイムであり、すべての参加者のデータセット全体をトレーニングに活用しながら、ユーザのデータのプライバシを保護することを目的としている。 FLでは、複数のモデルをユーザで独立してトレーニングし、集中的に集約することで、グローバルモデルを反復的なプロセスで更新する。このアプローチは設計によるプライバシ保護に優れているが、FLは依然として攻撃やビザンチン障害などの品質問題に悩まされる傾向にある。 FLのロバストアグリゲーション技術におけるこのような品質問題に対処するための最近の試みがある。しかし,SOTA(State-of-the-art FL)技術の有効性はいまだ不明であり,総合的な研究がない。そこで本研究では,SOTA FL技術の攻撃・障害発生における現状と課題をよりよく理解するために,複数の攻撃角度からSOTA FLの品質,(突然変異演算子による)模擬故障,および凝集(防御)手法を大規模に検討した。特に, 2つの汎用画像データセットと, 実世界連合医療画像データセットについて検討を行った。また,ユーザに対する攻撃・攻撃の分布と,データセットごとの独立・同一分散(IID)要因がロバスト性に与える影響を系統的に検討した。 496構成の大規模解析を行った結果,各ユーザ毎のミュータが最終モデルに無視できる影響があることが判明した。さらに、最も堅牢なflアグリゲータの選択は、アタックとデータセットに依存する。最後に、アグリゲータの単純なアンサンブルモデルを用いて、すべてのアグリゲータと構成上の単一のアグリゲータとほぼ同等、あるいはそれ以上に機能するジェネリックソリューションを実現できることを示す。

関連論文リスト

Formal Logic-guided Robust Federated Learning against Poisoning Attacks [6.997975378492098]
Federated Learning (FL)は、集中型機械学習(ML)に関連するプライバシー問題に対して、有望な解決策を提供する。 FLは、敵クライアントがトレーニングデータやモデル更新を操作して全体的なモデルパフォーマンスを低下させる、毒殺攻撃など、さまざまなセキュリティ上の脅威に対して脆弱である。本稿では,時系列タスクにおけるフェデレート学習における中毒攻撃の軽減を目的とした防御機構を提案する。
論文参考訳（メタデータ） (2024-11-05T16:23:19Z)
FedDr+: Stabilizing Dot-regression with Global Feature Distillation for Federated Learning [27.782676760198697]
フェデレートラーニング(FL)は、効果的なグローバルモデル開発のための重要なフレームワークとして登場した。 FLの主な課題はクライアントのドリフトであり、データの不均一性は分散した知識の集約を妨げる。我々は,ドット回帰損失を用いた局所モデルアライメントを実現するFedDr+という新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-04T14:34:13Z)
FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-29T11:28:06Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文参考訳（メタデータ） (2023-12-11T10:44:52Z)
Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文参考訳（メタデータ） (2023-11-28T05:44:26Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文参考訳（メタデータ） (2021-08-19T12:20:31Z)
Federated Robustness Propagation: Sharing Adversarial Robustness in Federated Learning [98.05061014090913]
フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
論文参考訳（メタデータ） (2021-06-18T15:52:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。