論文の概要: Over-The-Air Federated Learning under Byzantine Attacks
- arxiv url: http://arxiv.org/abs/2205.02949v1
- Date: Thu, 5 May 2022 22:09:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-09 22:35:30.749488
- Title: Over-The-Air Federated Learning under Byzantine Attacks
- Title（参考訳）: ビザンチン攻撃によるオーバーザ・エアフェデレート学習
- Authors: Houssem Sifaou and Geoffrey Ye Li
- Abstract要約: フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。
FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。
FLの主な課題の1つは、通信オーバーヘッドである。
本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 43.67333971183711
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a promising solution to enable many AI
applications, where sensitive datasets from distributed clients are needed for
collaboratively training a global model. FL allows the clients to participate
in the training phase, governed by a central server, without sharing their
local data. One of the main challenges of FL is the communication overhead,
where the model updates of the participating clients are sent to the central
server at each global training round. Over-the-air computation (AirComp) has
been recently proposed to alleviate the communication bottleneck where the
model updates are sent simultaneously over the multiple-access channel.
However, simple averaging of the model updates via AirComp makes the learning
process vulnerable to random or intended modifications of the local model
updates of some Byzantine clients. In this paper, we propose a transmission and
aggregation framework to reduce the effect of such attacks while preserving the
benefits of AirComp for FL. For the proposed robust approach, the central
server divides the participating clients randomly into groups and allocates a
transmission time slot for each group. The updates of the different groups are
then aggregated using a robust aggregation technique. We extend our approach to
handle the case of non-i.i.d. local data, where a resampling step is added
before robust aggregation. We analyze the convergence of the proposed approach
for both cases of i.i.d. and non-i.i.d. data and demonstrate that the proposed
algorithm converges at a linear rate to a neighborhood of the optimal solution.
Experiments on real datasets are provided to confirm the robustness of the
proposed approach.
- Abstract（参考訳）: フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングするために、分散クライアントからのセンシティブなデータセットが必要な、多くのAIアプリケーションを実現するための有望なソリューションである。
FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。
flの主な課題のひとつはコミュニケーションのオーバーヘッドであり、参加するクライアントのモデル更新は、グローバルトレーニングラウンド毎に中央サーバに送信される。
モデル更新がマルチアクセスチャネル上で同時に送信される通信ボトルネックを軽減するために、aircomp(over-the-air computation)が最近提案されている。
しかし、aircompによるモデル更新の単純な平均化は、いくつかのビザンチンクライアントのローカルモデル更新のランダムまたは意図的な修正に対して、学習プロセスを脆弱にする。
本稿では,FL 用 AirComp の利点を保ちながら,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
提案するロバストなアプローチでは、中央サーバは参加者のクライアントをランダムにグループに分け、各グループに送信時間スロットを割り当てる。
異なるグループの更新は、ロバストな集約技術を用いて集約される。
我々は、ロバストアグリゲーションの前に再サンプリングステップを追加する非i.d.ローカルデータを扱うために、我々のアプローチを拡張した。
i.i.d.データと非i.i.d.データの両方における提案手法の収束を解析し,提案アルゴリズムが最適解近傍の線形速度で収束することを示す。
提案手法の堅牢性を確認するために,実データセットの実験を行った。
関連論文リスト
- Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-24T13:30:03Z) - Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。
本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文 参考訳（メタデータ） (2024-06-03T08:48:49Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedCME: Client Matching and Classifier Exchanging to Handle Data
Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。
クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。
実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文 参考訳（メタデータ） (2023-07-17T15:40:45Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Server Averaging for Federated Learning [14.846231685735592]
フェデレーションラーニングにより、分散デバイスは、ローカルデータセットを中央サーバーで共有または開示することなく、モデルをまとめてトレーニングできます。
フェデレーション学習のプライバシの改善は、より高い計算と通信コストを含む課題も導入する。
収束を加速するサーバ平均化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-22T07:07:00Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。