論文の概要: Pre-trained Model Guided Mixture Knowledge Distillation for Adversarial Federated Learning
- arxiv url: http://arxiv.org/abs/2501.15257v1
- Date: Sat, 25 Jan 2025 16:04:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:56:37.580874
- Title: Pre-trained Model Guided Mixture Knowledge Distillation for Adversarial Federated Learning
- Title（参考訳）: 対話型フェデレーション学習のための事前学習型混合知識蒸留法
- Authors: Yu Qiao, Huy Q. Le, Apurba Adhikary, Choong Seon Hong,
- Abstract要約: 本稿では,PM-AFL(Pre-trained Model-Guided Adversarial Federated Learning)トレーニングパラダイムを提案する。
このパラダイムはバニラ混合と逆混合知識蒸留を統合し、精度と堅牢性を効果的にバランスさせる。
実験により、PM-AFLに基づくパラダイムは、防衛戦略を統合する他の手法よりも顕著なマージンで優れていることが示された。
- 参考スコア（独自算出の注目度）: 29.944420271890955
- License:
- Abstract: This paper aims to improve the robustness of a small global model while maintaining clean accuracy under adversarial attacks and non-IID challenges in federated learning. By leveraging the concise knowledge embedded in the class probabilities from a pre-trained model for both clean and adversarial image classification, we propose a Pre-trained Model-guided Adversarial Federated Learning (PM-AFL) training paradigm. This paradigm integrates vanilla mixture and adversarial mixture knowledge distillation to effectively balance accuracy and robustness while promoting local models to learn from diverse data. Specifically, for clean accuracy, we adopt a dual distillation strategy where the class probabilities of randomly paired images and their blended versions are aligned between the teacher model and the local models. For adversarial robustness, we use a similar distillation approach but replace clean samples on the local side with adversarial examples. Moreover, considering the bias between local and global models, we also incorporate a consistency regularization term to ensure that local adversarial predictions stay aligned with their corresponding global clean ones. These strategies collectively enable local models to absorb diverse knowledge from the teacher model while maintaining close alignment with the global model, thereby mitigating overfitting to local optima and enhancing the generalization of the global model. Experiments demonstrate that the PM-AFL-based paradigm outperforms other methods that integrate defense strategies by a notable margin.
- Abstract（参考訳）: 本稿では, 対人攻撃や非IID学習における課題に対して, クリーンな精度を維持しつつ, 小規模なグローバルモデルのロバスト性を向上させることを目的とする。
クラス確率に埋め込まれた簡潔な知識を、クリーンかつ逆画像分類のための事前学習モデルから活用することにより、事前学習モデル誘導対人学習(PM-AFL)訓練パラダイムを提案する。
このパラダイムは、バニラ混合と逆混合知識蒸留を統合し、様々なデータから学ぶための局所モデルを促進しながら、精度と堅牢性を効果的にバランスさせる。
具体的には,教師モデルと局所モデルとの間にランダムにペアリングされた画像のクラス確率と,それらのブレンドされたバージョンが一致した二重蒸留方式を採用する。
対向ロバスト性については、同様の蒸留法を用いるが、地域側のクリーンサンプルを対向例で置き換える。
さらに,局所モデルと大域モデルとの偏りを考慮すると,局所的対立予測が対応する大域的クリーンモデルと一致し続けることを保証するために,整合正則化項も組み込む。
これらの戦略により、教師モデルからの多様な知識を総合的に吸収し、グローバルモデルとの密接な整合性を保ち、局所最適への過度な適合を緩和し、グローバルモデルの一般化を促進することができる。
実験により、PM-AFLに基づくパラダイムは、防衛戦略を統合する他の手法よりも顕著なマージンで優れていることが示された。
関連論文リスト
- FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。
FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。
本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
論文 参考訳（メタデータ） (2024-04-14T10:23:30Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Universal Semi-supervised Model Adaptation via Collaborative Consistency
Training [92.52892510093037]
我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。
本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。
実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
論文 参考訳（メタデータ） (2023-07-07T08:19:40Z) - Improving Heterogeneous Model Reuse by Density Estimation [105.97036205113258]
本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。
モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
論文 参考訳（メタデータ） (2023-05-23T09:46:54Z) - Tackling Data Heterogeneity in Federated Learning with Class Prototypes [44.746340839025194]
パーソナライズと一般化の両面において,ローカルモデルの性能を改善する新しい手法であるFedNHを提案する。
クラスセマンティクスを注入することで局所モデルを改善する一方で,一様性を付与することでプロトタイプの崩壊に対処できることを示す。
論文 参考訳（メタデータ） (2022-12-06T05:15:38Z) - Federated Adversarial Training with Transformers [16.149924042225106]
フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら、分散クライアントのデータ上でグローバルモデルトレーニングを可能にするために登場した。
本稿では,異なるトークン化と分類ヘッド技術を用いた異なるフェデレーションモデルアグリゲーション手法と異なるビジョントランスフォーマーモデルによる実現可能性について検討する。
論文 参考訳（メタデータ） (2022-06-05T09:07:09Z) - Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。
最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。
我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文 参考訳（メタデータ） (2022-03-18T01:12:18Z) - FedRAD: Federated Robust Adaptive Distillation [7.775374800382709]
一般的にモデルの更新を集約するコラボレーション学習フレームワークは、敵のクライアントによる毒殺攻撃のモデルに対して脆弱である。
本稿では,新たなロバスト適応蒸留法 (FedRAD) を提案する。
その結果,FedRADは敵の存在や異種データ分布において,他のアグリゲータよりも優れていた。
論文 参考訳（メタデータ） (2021-12-02T16:50:57Z) - Hybrid Dynamic Contrast and Probability Distillation for Unsupervised
Person Re-Id [109.1730454118532]
非監督的人物再識別(Re-Id)は、リードワールドビデオ監視システムにおける実践的応用により注目されている。
本稿では,ハイブリッド動的クラスタコントラストと確率蒸留アルゴリズムを提案する。
教師なしRe-Id問題を局所-言語的ダイナミックコントラスト学習と自己教師付き確率蒸留の枠組みに統合する。
論文 参考訳（メタデータ） (2021-09-29T02:56:45Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳（メタデータ） (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。