論文の概要: Auto-weighted Robust Federated Learning with Corrupted Data Sources
- arxiv url: http://arxiv.org/abs/2101.05880v1
- Date: Thu, 14 Jan 2021 21:54:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-29 01:29:31.852568
- Title: Auto-weighted Robust Federated Learning with Corrupted Data Sources
- Title（参考訳）: 破損したデータソースによる自己重み付きロバストフェデレーション学習
- Authors: Shenghui Li, Edith Ngai, Fanghua Ye, and Thiemo Voigt
- Abstract要約: フェデレーション学習はコミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。
平均損失関数をナイーブに最小化する標準的なフェデレーション学習技術は、データの破損に弱い。
破損したデータソースに対して堅牢性を提供するために、自動重み付けロバストフェデレーテッドラーニング(arfl)を提案します。
- 参考スコア（独自算出の注目度）: 7.475348174281237
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning provides a communication-efficient and privacy-preserving
training process by enabling learning statistical models with massive
participants while keeping their data in local clients. However, standard
federated learning techniques that naively minimize an average loss function
are vulnerable to data corruptions from outliers, systematic mislabeling, or
even adversaries. In addition, it is often prohibited for service providers to
verify the quality of data samples due to the increasing concern of user data
privacy. In this paper, we address this challenge by proposing Auto-weighted
Robust Federated Learning (arfl), a novel approach that jointly learns the
global model and the weights of local updates to provide robustness against
corrupted data sources. We prove a learning bound on the expected risk with
respect to the predictor and the weights of clients, which guides the
definition of the objective for robust federated learning. The weights are
allocated by comparing the empirical loss of a client with the average loss of
the best p clients (p-average), thus we can downweight the clients with
significantly high losses, thereby lower their contributions to the global
model. We show that this approach achieves robustness when the data of
corrupted clients is distributed differently from benign ones. To optimize the
objective function, we propose a communication-efficient algorithm based on the
blockwise minimization paradigm. We conduct experiments on multiple benchmark
datasets, including CIFAR-10, FEMNIST and Shakespeare, considering different
deep neural network models. The results show that our solution is robust
against different scenarios including label shuffling, label flipping and noisy
features, and outperforms the state-of-the-art methods in most scenarios.
- Abstract（参考訳）: フェデレーション学習は、大規模な参加者で統計モデルを学習し、データをローカルクライアントに保持することで、コミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。
しかしながら、平均損失関数をナビゲート的に最小化する標準的なフェデレート学習技術は、外れ値や体系的な不正ラベル、さらには敵からのデータの破損に対して脆弱である。
さらに、ユーザデータのプライバシーの懸念が高まるため、サービスプロバイダがデータサンプルの品質を検証することは、しばしば禁止されている。
本稿では、グローバルモデルとローカル更新の重みを共同で学習し、破損したデータソースに対して堅牢性を提供する新しいアプローチであるAuto-weighted Robust Federated Learning (arfl)を提案する。
我々は,堅牢なフェデレーション学習の目的の定義を導いてくれる予測者およびクライアントの重み付けに関して,期待されるリスクに拘束された学習を実証する。
この重み付けは、クライアントの実証的な損失と最高のpクライアントの平均的な損失(p平均)を比較し、クライアントを著しく高い損失で下降させ、グローバルモデルへの貢献度を下げることができる。
破損したクライアントのデータを良質なクライアントと異なる方法で分散した場合,このアプローチが堅牢性を実現することを示す。
目的関数を最適化するために,ブロックワイズ最小化パラダイムに基づく通信効率のよいアルゴリズムを提案する。
異なるディープニューラルネットワークモデルを考慮した複数のベンチマークデータセット(cifar-10, femnist, shakespeare)について実験を行った。
その結果,ラベルシャッフルやラベルフリップ,ノイズの多い機能など,さまざまなシナリオに対して堅牢で,ほとんどのシナリオで最先端の手法よりも優れていることがわかった。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Lightweight Unsupervised Federated Learning with Pretrained Vision Language Model [32.094290282897894]
フェデレートラーニングは、物理的に孤立したクライアントから、ユーザのデータのプライバシを保護しながら、集合モデルをトレーニングすることを目的としている。
本稿では,各クライアントのラベルのないデータを活用して,軽量なモデルトレーニングとコミュニケーションを行う,軽量な非教師付きフェデレーション学習手法を提案する。
提案手法は,CLIPのゼロショット予測と比較してモデル性能を大幅に向上させるとともに,教師付きフェデレーション学習ベンチマーク手法よりも優れる。
論文 参考訳（メタデータ） (2024-04-17T03:42:48Z) - Reinforcement Learning as a Catalyst for Robust and Fair Federated
Learning: Deciphering the Dynamics of Client Contributions [6.318638597489423]
Reinforcement Federated Learning (RFL)は、深い強化学習を活用して、集約中のクライアントコントリビューションを適応的に最適化する新しいフレームワークである。
堅牢性に関しては、RFLは同等の公平性を維持しつつ、最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2024-02-08T10:22:12Z) - One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。
本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。
FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
論文 参考訳（メタデータ） (2023-11-15T11:11:25Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Performance Weighting for Robust Federated Learning Against Corrupted
Sources [1.76179873429447]
分散機械学習の計算パラダイムとしてフェデレートラーニングが登場している。
現実世界のアプリケーションでは、フェデレーションされた環境は、好意的なクライアントと悪意のあるクライアントの混在によって構成される。
局所重みの標準的グローバルアグリゲーション方式は, クライアントの破損の有無で非効率であることを示す。
論文 参考訳（メタデータ） (2022-05-02T20:01:44Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文 参考訳（メタデータ） (2020-11-14T06:52:02Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。