論文の概要: Logit Calibration and Feature Contrast for Robust Federated Learning on Non-IID Data

• arxiv url: http://arxiv.org/abs/2404.06776v1
• Date: Wed, 10 Apr 2024 06:35:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 15:19:53.036951
• Title: Logit Calibration and Feature Contrast for Robust Federated Learning on Non-IID Data
• Title（参考訳）: 非IIDデータを用いたロバストフェデレーション学習のためのログ校正と特徴コントラスト
• Authors: Yu Qiao, Chaoning Zhang, Apurba Adhikary, Choong Seon Hong,
• Abstract要約: Federated Learning(FL)は、エッジネットワークのデバイス上で協調的なモデルトレーニングを行うための、プライバシ保護のための分散フレームワークである。 本稿では,ローカルロジットアンダーラインキャリブレーションとグローバル機能アンダーラインコントラストを,ロジットと特徴の両方の観点から,バニラフェデレーション付き対人訓練プロセスに組み込んだFatCCを提案する。
• 参考スコア（独自算出の注目度）: 45.11652096723593
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) is a privacy-preserving distributed framework for collaborative model training on devices in edge networks. However, challenges arise due to vulnerability to adversarial examples (AEs) and the non-independent and identically distributed (non-IID) nature of data distribution among devices, hindering the deployment of adversarially robust and accurate learning models at the edge. While adversarial training (AT) is commonly acknowledged as an effective defense strategy against adversarial attacks in centralized training, we shed light on the adverse effects of directly applying AT in FL that can severely compromise accuracy, especially in non-IID challenges. Given this limitation, this paper proposes FatCC, which incorporates local logit \underline{C}alibration and global feature \underline{C}ontrast into the vanilla federated adversarial training (\underline{FAT}) process from both logit and feature perspectives. This approach can effectively enhance the federated system's robust accuracy (RA) and clean accuracy (CA). First, we propose logit calibration, where the logits are calibrated during local adversarial updates, thereby improving adversarial robustness. Second, FatCC introduces feature contrast, which involves a global alignment term that aligns each local representation with unbiased global features, thus further enhancing robustness and accuracy in federated adversarial environments. Extensive experiments across multiple datasets demonstrate that FatCC achieves comparable or superior performance gains in both CA and RA compared to other baselines.
• Abstract（参考訳）: Federated Learning(FL)は、エッジネットワークのデバイス上で協調的なモデルトレーニングを行うための、プライバシ保護のための分散フレームワークである。 しかし、敵対的な例(AE)に対する脆弱性と、デバイス間で非独立で同一に分散された(非IID)データ分散の性質により、エッジに逆向きに堅牢で正確な学習モデルが配置されるのを妨げている。 対人訓練(AT)は、集中訓練における対人攻撃に対する効果的な防御戦略として一般的に認識されているが、特に非IID課題において、精度を著しく損なうことができるFLに直接ATを適用することの副作用に光を当てた。 この制限を前提として,FatCCを提案する。このFatCCは,ロジットと特徴の両方の観点から,局所ロジットとグローバルな特徴をバニラフェデレーテッド・ディベザリ・トレーニング(\underline{FAT})プロセスに組み込む。 このアプローチは、フェデレートされたシステムの堅牢な精度(RA)とクリーンな精度(CA)を効果的に強化することができる。 まず,ロジットの調整を行うロジット校正手法を提案する。 第2に、FatCCは機能コントラストを導入し、各ローカル表現を非バイアスのグローバル特徴と整合させるグローバルアライメント項を伴って、フェデレートされた敵環境における堅牢性と正確性をさらに強化する。 複数のデータセットにわたる大規模な実験により、FatCCは他のベースラインと比較して、CAとRAの両方で同等または優れたパフォーマンス向上を達成した。

関連論文リスト

• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Delving into the Adversarial Robustness of Federated Learning [41.409961662754405]
  フェデレートラーニング(FL)では、モデルは敵の例に対して中心的に訓練されたモデルと同じくらい脆弱である。 FLシステムの精度と堅牢性を改善するために,DBFAT(Decision boundary based Federated Adversarial Training)と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-19T04:54:25Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• CalFAT: Calibrated Federated Adversarial Training with Label Skewness [46.47690793066599]
  本稿では,ロジットを適応的に校正することで,不安定問題に対処するキャリブレーションFAT (CalFAT) 手法を提案する。 我々はCalFATの最適化がクライアント間の同質な局所モデルをもたらし、収束率と最終性能が大幅に向上したことを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2022-05-30T08:49:20Z)
• Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training [2.538209532048867]
  本稿では,新たなニューラルネットワークトレーニングフレームワークを提案する。 本稿では,データ拡張と対向的摂動の両面に一貫性のある特徴表現を学習することで,敵攻撃に対するモデルロバスト性を改善することを提案する。 我々は,CIFAR-10データセットを用いて,教師付きおよび自己教師付き対向学習法よりも頑健な精度とクリーンな精度を両立させる手法を検証する。
  論文  参考訳（メタデータ） (2022-03-16T21:41:27Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。