論文の概要: CalFAT: Calibrated Federated Adversarial Training with Label Skewness

• arxiv url: http://arxiv.org/abs/2205.14926v1
• Date: Mon, 30 May 2022 08:49:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 18:48:09.181776
• Title: CalFAT: Calibrated Federated Adversarial Training with Label Skewness
• Title（参考訳）: calfat: ラベルスキューネスを用いたfederated adversarial trainingの校正
• Authors: Chen Chen, Yuchen Liu, Xingjun Ma, Lingjuan Lyu
• Abstract要約: 本稿では,ロジットを適応的に校正することで,不安定問題に対処するキャリブレーションFAT (CalFAT) 手法を提案する。 我々はCalFATの最適化がクライアント間の同質な局所モデルをもたらし、収束率と最終性能が大幅に向上したことを理論的および実証的に示す。
• 参考スコア（独自算出の注目度）: 46.47690793066599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown that, like traditional machine learning, federated learning (FL) is also vulnerable to adversarial attacks. To improve the adversarial robustness of FL, few federated adversarial training (FAT) methods have been proposed to apply adversarial training locally before global aggregation. Although these methods demonstrate promising results on independent identically distributed (IID) data, they suffer from training instability issues on non-IID data with label skewness, resulting in much degraded natural accuracy. This tends to hinder the application of FAT in real-world applications where the label distribution across the clients is often skewed. In this paper, we study the problem of FAT under label skewness, and firstly reveal one root cause of the training instability and natural accuracy degradation issues: skewed labels lead to non-identical class probabilities and heterogeneous local models. We then propose a Calibrated FAT (CalFAT) approach to tackle the instability issue by calibrating the logits adaptively to balance the classes. We show both theoretically and empirically that the optimization of CalFAT leads to homogeneous local models across the clients and much improved convergence rate and final performance.
• Abstract（参考訳）: 近年の研究では、従来の機械学習と同様に、フェデレーション学習(FL)も敵の攻撃に弱いことが示されている。 FLの対向ロバスト性を改善するために,グローバルアグリゲーション前に対向トレーニングを局所的に適用するためのFAT法はほとんど提案されていない。 これらの手法は、独立に分散したIIDデータに対して有望な結果を示すが、ラベル歪を伴う非IIDデータに対する不安定性のトレーニングに悩まされ、結果として自然な精度が大幅に低下する。 これにより、クライアントにまたがるラベルの分布がスキューされる現実世界のアプリケーションにおいて、FATの応用を妨げる傾向がある。 本稿では,ラベルスキューネス下でのFAT問題について検討し,まずトレーニング不安定性と自然な精度劣化問題の根本原因を明らかにする:スクイードラベルは非同一クラス確率と異種局所モデルをもたらす。 次に,ロジットを適応的に校正することで,不安定問題に対処するための校正FAT (CalFAT) 手法を提案する。 我々はCalFATの最適化がクライアント間の均一な局所モデルをもたらし、収束率と最終的な性能が大幅に向上することを示す。

関連論文リスト

• Improving Fast Adversarial Training via Self-Knowledge Guidance [30.299641184202972]
  高速対人訓練(FAT)における不均衡問題を包括的に研究する。 我々は、そのパフォーマンスに関する明らかな階級格差を観察する。 この格差は、クリーンとロバストな精度の整合性の観点から具現化することができる。
  論文  参考訳（メタデータ） (2024-09-26T07:12:04Z)
• CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
  トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。 ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
  論文  参考訳（メタデータ） (2024-07-02T15:05:19Z)
• Logit Calibration and Feature Contrast for Robust Federated Learning on Non-IID Data [45.11652096723593]
  Federated Learning(FL)は、エッジネットワークのデバイス上で協調的なモデルトレーニングを行うための、プライバシ保護のための分散フレームワークである。 本稿では,ローカルロジットアンダーラインキャリブレーションとグローバル機能アンダーラインコントラストを,ロジットと特徴の両方の観点から,バニラフェデレーション付き対人訓練プロセスに組み込んだFatCCを提案する。
  論文  参考訳（メタデータ） (2024-04-10T06:35:25Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Exploring Vacant Classes in Label-Skewed Federated Learning [113.65301899666645]
  クライアント間の局所的なラベル分布の相違を特徴とするラベルスキューは、連合学習において大きな課題となる。 本稿では, ラベルスキュード・フェデレート学習における新しい手法であるFedVLSについて紹介する。
  論文  参考訳（メタデータ） (2024-01-04T16:06:31Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• FedVal: Different good or different bad in federated learning [9.558549875692808]
  フェデレート・ラーニング(FL)システムは悪意のあるアクターからの攻撃を受けやすい。 FLは、異なる人口集団の公正なパフォーマンスを保証するなど、グループの偏見に対処する上で、新たな課題を提起する。 このようなバイアスに対処するために使用される従来の方法は、FLシステムが持っていないデータへの集中的なアクセスを必要とする。 我々は、クライアントからの追加情報を必要としない堅牢性と公正性の両方に対して、新しいアプローチであるFedValを提案する。
  論文  参考訳（メタデータ） (2023-06-06T22:11:13Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。