論文の概要: Towards Communication-Efficient Adversarial Federated Learning for Robust Edge Intelligence

• arxiv url: http://arxiv.org/abs/2501.15257v2
• Date: Wed, 09 Apr 2025 14:55:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 16:14:24.843546
• Title: Towards Communication-Efficient Adversarial Federated Learning for Robust Edge Intelligence
• Title（参考訳）: ロバストエッジインテリジェンスのためのコミュニケーション効率の良い対人フェデレーション学習に向けて
• Authors: Yu Qiao, Apurba Adhikary, Huy Q. Le, Eui-Nam Huh, Zhu Han, Choong Seon Hong,
• Abstract要約: 本稿では,事前学習モデルを用いて,コミュニケーション効率の高い対人学習(AFL)を実現することを目的とする。 クリーン画像と逆画像の両方に事前学習したモデルからの知識を活用することにより、事前学習されたモデル誘導型AFLフレームワークを提案する。 実験の結果,PM-AFLベースのフレームワークは他の手法よりも優れているだけでなく,通信効率も向上していることがわかった。
• 参考スコア（独自算出の注目度）: 43.4791103826602
• License:
• Abstract: Federated learning (FL) has gained significant attention for enabling decentralized training on edge networks without exposing raw data. However, FL models remain susceptible to adversarial attacks and performance degradation in non-IID data settings, thus posing challenges to both robustness and accuracy. This paper aims to achieve communication-efficient adversarial federated learning (AFL) by leveraging a pre-trained model to enhance both robustness and accuracy under adversarial attacks and non-IID challenges in AFL. By leveraging the knowledge from a pre-trained model for both clean and adversarial images, we propose a pre-trained model-guided adversarial federated learning (PM-AFL) framework. This framework integrates vanilla and adversarial mixture knowledge distillation to effectively balance accuracy and robustness while promoting local models to learn from diverse data. Specifically, for clean accuracy, we adopt a dual distillation strategy where the class probabilities of randomly paired images, and their blended versions are aligned between the teacher model and the local models. For adversarial robustness, we employ a similar distillation approach but replace clean samples on the local side with adversarial examples. Moreover, by considering the bias between local and global models, we also incorporate a consistency regularization term to ensure that local adversarial predictions stay aligned with their corresponding global clean ones. These strategies collectively enable local models to absorb diverse knowledge from the teacher model while maintaining close alignment with the global model, thereby mitigating overfitting to local optima and enhancing the generalization of the global model. Experiments demonstrate that the PM-AFL-based framework not only significantly outperforms other methods but also maintains communication efficiency.
• Abstract（参考訳）: フェデレートラーニング(FL)は、生データを公開せずにエッジネットワーク上で分散トレーニングを可能にすることで大きな注目を集めている。 しかし、FLモデルは非IIDデータ設定における敵攻撃や性能劣化の影響を受けにくいため、堅牢性と精度の両方に課題が生じる。 本稿では, 対人攻撃時の強靭性と精度を高めるために, 事前学習モデルを活用することにより, 通信効率の高い対人連合学習(AFL)を実現することを目的とする。 クリーン画像と逆画像の両方に事前学習されたモデルからの知識を活用することにより、事前学習されたモデル誘導対人連合学習(PM-AFL)フレームワークを提案する。 このフレームワークは、バニラと逆混合知識蒸留を統合し、様々なデータから学ぶための局所モデルを促進しながら、精度と堅牢性を効果的にバランスさせる。 具体的には、クリーンな精度で、ランダムにペア化された画像のクラス確率と、それらのブレンドされたバージョンが教師モデルとローカルモデルの間で一致している二重蒸留方式を採用する。 対向ロバスト性については, 同様の蒸留法を用いるが, 地域側の清浄試料を対向例で置き換える。 さらに、局所モデルとグローバルモデルの間のバイアスを考慮することにより、局所的な敵予測が対応するグローバルクリーンモデルと一致し続けることを保証するために、一貫性の正則化項も組み込む。 これらの戦略により、教師モデルからの多様な知識を総合的に吸収し、グローバルモデルとの密接な整合性を保ち、局所最適への過度な適合を緩和し、グローバルモデルの一般化を促進することができる。 実験の結果,PM-AFLベースのフレームワークは他の手法よりも優れているだけでなく,通信効率も向上していることがわかった。

関連論文リスト

• FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
  フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。 FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。 本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
  論文  参考訳（メタデータ） (2024-04-14T10:23:30Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Improving Heterogeneous Model Reuse by Density Estimation [105.97036205113258]
  本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。 モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
  論文  参考訳（メタデータ） (2023-05-23T09:46:54Z)
• Tackling Data Heterogeneity in Federated Learning with Class Prototypes [44.746340839025194]
  パーソナライズと一般化の両面において,ローカルモデルの性能を改善する新しい手法であるFedNHを提案する。 クラスセマンティクスを注入することで局所モデルを改善する一方で,一様性を付与することでプロトタイプの崩壊に対処できることを示す。
  論文  参考訳（メタデータ） (2022-12-06T05:15:38Z)
• Federated Adversarial Training with Transformers [16.149924042225106]
  フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら、分散クライアントのデータ上でグローバルモデルトレーニングを可能にするために登場した。 本稿では,異なるトークン化と分類ヘッド技術を用いた異なるフェデレーションモデルアグリゲーション手法と異なるビジョントランスフォーマーモデルによる実現可能性について検討する。
  論文  参考訳（メタデータ） (2022-06-05T09:07:09Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• FedRAD: Federated Robust Adaptive Distillation [7.775374800382709]
  一般的にモデルの更新を集約するコラボレーション学習フレームワークは、敵のクライアントによる毒殺攻撃のモデルに対して脆弱である。 本稿では,新たなロバスト適応蒸留法 (FedRAD) を提案する。 その結果,FedRADは敵の存在や異種データ分布において,他のアグリゲータよりも優れていた。
  論文  参考訳（メタデータ） (2021-12-02T16:50:57Z)
• Hybrid Dynamic Contrast and Probability Distillation for Unsupervised Person Re-Id [109.1730454118532]
  非監督的人物再識別(Re-Id)は、リードワールドビデオ監視システムにおける実践的応用により注目されている。 本稿では,ハイブリッド動的クラスタコントラストと確率蒸留アルゴリズムを提案する。 教師なしRe-Id問題を局所-言語的ダイナミックコントラスト学習と自己教師付き確率蒸留の枠組みに統合する。
  論文  参考訳（メタデータ） (2021-09-29T02:56:45Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。