論文の概要: Towards Robust Federated Learning via Logits Calibration on Non-IID Data
- arxiv url: http://arxiv.org/abs/2403.02803v1
- Date: Tue, 5 Mar 2024 09:18:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 15:17:29.905909
- Title: Towards Robust Federated Learning via Logits Calibration on Non-IID Data
- Title（参考訳）: 非IIDデータを用いたロバストなフェデレーション学習に向けて
- Authors: Yu Qiao, Apurba Adhikary, Chaoning Zhang, Choong Seon Hong
- Abstract要約: Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。
近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。
本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
- 参考スコア（独自算出の注目度）: 49.286558007937856
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning (FL) is a privacy-preserving distributed management
framework based on collaborative model training of distributed devices in edge
networks. However, recent studies have shown that FL is vulnerable to
adversarial examples (AEs), leading to a significant drop in its performance.
Meanwhile, the non-independent and identically distributed (non-IID) challenge
of data distribution between edge devices can further degrade the performance
of models. Consequently, both AEs and non-IID pose challenges to deploying
robust learning models at the edge. In this work, we adopt the adversarial
training (AT) framework to improve the robustness of FL models against
adversarial example (AE) attacks, which can be termed as federated adversarial
training (FAT). Moreover, we address the non-IID challenge by implementing a
simple yet effective logits calibration strategy under the FAT framework, which
can enhance the robustness of models when subjected to adversarial attacks.
Specifically, we employ a direct strategy to adjust the logits output by
assigning higher weights to classes with small samples during training. This
approach effectively tackles the class imbalance in the training data, with the
goal of mitigating biases between local and global models. Experimental results
on three dataset benchmarks, MNIST, Fashion-MNIST, and CIFAR-10 show that our
strategy achieves competitive results in natural and robust accuracy compared
to several baselines.
- Abstract（参考訳）: Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。
しかし、最近の研究では、FLは敵の例(AE)に弱いことが示されており、その性能は著しく低下している。
一方、エッジデバイス間のデータ分散における非独立で同一の(非IID)課題は、モデルの性能をさらに低下させる可能性がある。
その結果、AEと非IIDの両方が、堅牢な学習モデルをエッジに展開する上での課題を提起している。
本研究では,FAT(Federated Adversarial Training)と称される,AE攻撃に対するFLモデルの堅牢性を改善するために,対戦トレーニング(AT)フレームワークを採用する。
さらに,FATフレームワークの下では,単純なロジット校正戦略を実装することで,非IIDの課題に対処し,敵攻撃を受ける際のモデルの堅牢性を高めることができる。
具体的には,訓練中のサンプル数が少ないクラスに対して,高重みを割り当てることで,ロジット出力を調整するための直接戦略を用いる。
このアプローチは、ローカルモデルとグローバルモデルのバイアスを軽減することを目的として、トレーニングデータのクラス不均衡に効果的に取り組む。
MNIST, Fashion-MNIST, CIFAR-10 の3つのベンチマークによる実験結果から, 本手法はいくつかのベースラインと比較して, 自然な, 堅牢な精度で, 競合する結果が得られることが示された。
関連論文リスト
- On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。
我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。
実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
論文 参考訳（メタデータ） (2024-07-23T11:35:42Z) - Reinforcement Learning as a Catalyst for Robust and Fair Federated
Learning: Deciphering the Dynamics of Client Contributions [6.318638597489423]
Reinforcement Federated Learning (RFL)は、深い強化学習を活用して、集約中のクライアントコントリビューションを適応的に最適化する新しいフレームワークである。
堅牢性に関しては、RFLは同等の公平性を維持しつつ、最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2024-02-08T10:22:12Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
長い尾の分布に従うデータセットの逆トレーニングについて検討する。
我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
論文 参考訳（メタデータ） (2023-07-14T07:01:48Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - Delving into the Adversarial Robustness of Federated Learning [41.409961662754405]
フェデレートラーニング(FL)では、モデルは敵の例に対して中心的に訓練されたモデルと同じくらい脆弱である。
FLシステムの精度と堅牢性を改善するために,DBFAT(Decision boundary based Federated Adversarial Training)と呼ばれる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-19T04:54:25Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳（メタデータ） (2022-07-12T19:34:47Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z) - Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。
既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。
本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文 参考訳（メタデータ） (2020-02-14T12:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。