論文の概要: FedProphet: Memory-Efficient Federated Adversarial Training via Robust and Consistent Cascade Learning
- arxiv url: http://arxiv.org/abs/2409.08372v2
- Date: Mon, 14 Apr 2025 18:20:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-16 22:08:35.226023
- Title: FedProphet: Memory-Efficient Federated Adversarial Training via Robust and Consistent Cascade Learning
- Title（参考訳）: FedProphet:ロバストと一貫性のあるカスケード学習によるメモリ効率の良いフェデレーション・アドバイザリトレーニング
- Authors: Minxue Tang, Yitu Wang, Jingyang Zhang, Louis DiValentin, Aolin Ding, Amin Hass, Yiran Chen, Hai "Helen" Li,
- Abstract要約: FAT(Federated Adversarial Training)は、FAT(Federated Learning)に対する敵の例に対する頑健さを補うことができる。
既存のメモリ効率のFL法は、不整合な局所モデルと大域モデルによる精度の低下と弱い堅牢性に悩まされている。
我々は、メモリ効率、堅牢性、一貫性を同時に達成できる新しいFedProphetフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 20.075335314952643
- License:
- Abstract: Federated Adversarial Training (FAT) can supplement robustness against adversarial examples to Federated Learning (FL), promoting a meaningful step toward trustworthy AI. However, FAT requires large models to preserve high accuracy while achieving strong robustness, incurring high memory-swapping latency when training on memory-constrained edge devices. Existing memory-efficient FL methods suffer from poor accuracy and weak robustness due to inconsistent local and global models. In this paper, we propose FedProphet, a novel FAT framework that can achieve memory efficiency, robustness, and consistency simultaneously. FedProphget reduces the memory requirement in local training while guaranteeing adversarial robustness by adversarial cascade learning with strong convexity regularization, and we show that the strong robustness also implies low inconsistency in FedProphet. We also develop a training coordinator on the server of FL, with Adaptive Perturbation Adjustment for utility-robustness balance and Differentiated Module Assignment for objective inconsistency mitigation. FedPeophet significantly outperforms other baselines under different experimental settings, maintaining the accuracy and robustness of end-to-end FAT with 80% memory reduction and up to 10.8x speedup in training time.
- Abstract（参考訳）: FAT(Federated Adversarial Training)は、FFL(Federated Learning)に対する敵の例に対する堅牢性を補完し、信頼できるAIに向けた重要なステップを促進する。
しかし、FATは、強い堅牢性を達成しつつ高い精度を維持するために大きなモデルを必要とし、メモリ制約エッジデバイスでトレーニングを行う際に、高いメモリスワッピングレイテンシを発生させる。
既存のメモリ効率のFL法は、不整合な局所モデルと大域モデルによる精度の低下と弱い堅牢性に悩まされている。
本稿では,メモリ効率,堅牢性,一貫性を同時に実現可能な新しいFATフレームワークであるFedProphetを提案する。
また,FedProphgetは,強い凸性正規化を伴う対側カスケード学習により,対側ロバスト性を確保しつつ,局所訓練における記憶要求を低減し,強ロバスト性はFedProphetの非整合性も低いことを示す。
また,FL のサーバ上でのトレーニングコーディネータを開発し,実用ロバスト性バランスのための適応摂動調整と,目的的不整合軽減のための微分モジュールアサインメントを開発した。
FedPeophetは、異なる実験条件下で他のベースラインを著しく上回り、80%のメモリ削減と最大10.8倍のスピードアップでエンドツーエンドのFATの精度と堅牢性を維持する。
関連論文リスト
- TPFL: A Trustworthy Personalized Federated Learning Framework via Subjective Logic [13.079535924498977]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。
ほとんどのFLアプローチは、プライバシ保護に重点を置いているが、信頼性が不可欠であるシナリオでは不足している。
主観的論理を用いた分類タスク用に設計された信頼に足る個人化フェデレーション学習フレームワークを紹介する。
論文 参考訳（メタデータ） (2024-10-16T07:33:29Z) - Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。
近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。
本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
論文 参考訳（メタデータ） (2024-03-05T09:18:29Z) - The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。
FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。
実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
論文 参考訳（メタデータ） (2024-02-18T23:14:40Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。
我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。
提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
論文 参考訳（メタデータ） (2023-01-30T11:46:34Z) - Strength-Adaptive Adversarial Training [103.28849734224235]
対戦訓練(AT)は、敵データに対するネットワークの堅牢性を確実に改善することが証明されている。
所定の摂動予算を持つ現在のATは、堅牢なネットワークの学習に制限がある。
本稿では,これらの制限を克服するために,emphStrength-Adaptive Adversarial Training (SAAT)を提案する。
論文 参考訳（メタデータ） (2022-10-04T00:22:37Z) - FADE: Enabling Federated Adversarial Training on Heterogeneous
Resource-Constrained Edge Devices [36.01066121818574]
我々は,資源制約のあるエッジデバイス上でATを実現するためのFADE(Federated Adversarial Decoupled Learning)という新しいフレームワークを提案する。
FADEはモデル全体を小さなモジュールに分離し、各デバイスのリソース予算に適合させる。
FADEは、精度と堅牢性を維持しつつ、メモリとコンピューティングの消費電力を大幅に削減できることを示す。
論文 参考訳（メタデータ） (2022-09-08T14:22:49Z) - Federated Learning with Sparsified Model Perturbation: Improving
Accuracy under Client-Level Differential Privacy [27.243322019117144]
フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。
トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。
差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。
本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
論文 参考訳（メタデータ） (2022-02-15T04:05:42Z) - MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the
Edge [72.16021611888165]
本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。
提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。
以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
論文 参考訳（メタデータ） (2021-10-26T21:15:17Z) - Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness
and Accuracy for Free [115.81899803240758]
敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。
本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。
提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
論文 参考訳（メタデータ） (2020-10-22T16:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。