Fugu-MT 論文翻訳(概要): FedProphet: Memory-Efficient Federated Adversarial Training via Theoretic-Robustness and Low-Inconsistency Cascade Learning

論文の概要: FedProphet: Memory-Efficient Federated Adversarial Training via Theoretic-Robustness and Low-Inconsistency Cascade Learning

arxiv url: http://arxiv.org/abs/2409.08372v1
Date: Thu, 12 Sep 2024 19:39:14 GMT
ステータス: 処理完了
システム内更新日: 2024-09-16 18:37:11.426420
Title: FedProphet: Memory-Efficient Federated Adversarial Training via Theoretic-Robustness and Low-Inconsistency Cascade Learning
Title（参考訳）: FedProphet: 理論的ロバスト性および低一貫性カスケード学習によるメモリ効率の良いフェデレーション・アドバイザリトレーニング
Authors: Minxue Tang, Yitu Wang, Jingyang Zhang, Louis DiValentin, Aolin Ding, Amin Hass, Yiran Chen, Hai "Helen" Li,
Abstract要約: フェデレートラーニング(FL)は、データ共有をトレーニングすることなく、エッジデバイス間のローカルトレーニングを可能にすることで、強力なプライバシ保証を提供する。 FedProphetは、メモリ効率、敵の堅牢性、客観的一貫性を同時に達成できる新しいFATフレームワークである。
参考スコア（独自算出の注目度）: 20.075335314952643
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) provides a strong privacy guarantee by enabling local training across edge devices without training data sharing, and Federated Adversarial Training (FAT) further enhances the robustness against adversarial examples, promoting a step toward trustworthy artificial intelligence. However, FAT requires a large model to preserve high accuracy while achieving strong robustness, and it is impractically slow when directly training with memory-constrained edge devices due to the memory-swapping latency. Moreover, existing memory-efficient FL methods suffer from poor accuracy and weak robustness in FAT because of inconsistent local and global models, i.e., objective inconsistency. In this paper, we propose FedProphet, a novel FAT framework that can achieve memory efficiency, adversarial robustness, and objective consistency simultaneously. FedProphet partitions the large model into small cascaded modules such that the memory-constrained devices can conduct adversarial training module-by-module. A strong convexity regularization is derived to theoretically guarantee the robustness of the whole model, and we show that the strong robustness implies low objective inconsistency in FedProphet. We also develop a training coordinator on the server of FL, with Adaptive Perturbation Adjustment for utility-robustness balance and Differentiated Module Assignment for objective inconsistency mitigation. FedProphet empirically shows a significant improvement in both accuracy and robustness compared to previous memory-efficient methods, achieving almost the same performance of end-to-end FAT with 80% memory reduction and up to 10.8x speedup in training time.
Abstract（参考訳）: フェデレーション学習(FL)は、データ共有をトレーニングせずにエッジデバイス間のローカルトレーニングを可能にすることで、強力なプライバシ保証を提供する。しかし、FATは強い堅牢性を達成しながら高い精度を維持するために大きなモデルを必要とし、メモリスワッピング遅延のため、メモリ制限されたエッジデバイスを直接トレーニングする場合は、急激な遅くなる。さらに、既存のメモリ効率FL法は、局所的および大域的モデル、すなわち目的的不整合性のために、FATの精度が悪く、堅牢性が弱い。本稿では,FedProphetを提案する。FedProphetは,メモリ効率,対向ロバスト性,目標整合性を同時に実現できる新しいFATフレームワークである。 FedProphetは、大きなモデルを小さなカスケードモジュールに分割する。強凸正則化は、理論上モデル全体の堅牢性を保証するために導出され、強凸性はFedProphetにおける低客観的不整合を示すことを示す。また,FL のサーバ上でのトレーニングコーディネータを開発し,実用ロバスト性バランスのための適応摂動調整と,目的的不整合軽減のための微分モジュールアサインメントを開発した。 FedProphetは、従来のメモリ効率の手法と比べて精度と堅牢性の両方を実証的に向上させ、80%のメモリ削減と最大10.8倍のスピードアップでエンドツーエンドのFATの性能をほぼ同等に達成した。

関連論文リスト

TPFL: A Trustworthy Personalized Federated Learning Framework via Subjective Logic [13.079535924498977]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。ほとんどのFLアプローチは、プライバシ保護に重点を置いているが、信頼性が不可欠であるシナリオでは不足している。主観的論理を用いた分類タスク用に設計された信頼に足る個人化フェデレーション学習フレームワークを紹介する。
論文参考訳（メタデータ） (2024-10-16T07:33:29Z)
Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
論文参考訳（メタデータ） (2024-03-05T09:18:29Z)
The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。 FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
論文参考訳（メタデータ） (2024-02-18T23:14:40Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
論文参考訳（メタデータ） (2023-01-30T11:46:34Z)
Strength-Adaptive Adversarial Training [103.28849734224235]
対戦訓練(AT)は、敵データに対するネットワークの堅牢性を確実に改善することが証明されている。所定の摂動予算を持つ現在のATは、堅牢なネットワークの学習に制限がある。本稿では,これらの制限を克服するために,emphStrength-Adaptive Adversarial Training (SAAT)を提案する。
論文参考訳（メタデータ） (2022-10-04T00:22:37Z)
FADE: Enabling Federated Adversarial Training on Heterogeneous Resource-Constrained Edge Devices [36.01066121818574]
我々は,資源制約のあるエッジデバイス上でATを実現するためのFADE(Federated Adversarial Decoupled Learning)という新しいフレームワークを提案する。 FADEはモデル全体を小さなモジュールに分離し、各デバイスのリソース予算に適合させる。 FADEは、精度と堅牢性を維持しつつ、メモリとコンピューティングの消費電力を大幅に削減できることを示す。
論文参考訳（メタデータ） (2022-09-08T14:22:49Z)
Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy [27.243322019117144]
フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
論文参考訳（メタデータ） (2022-02-15T04:05:42Z)
MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
論文参考訳（メタデータ） (2021-10-26T21:15:17Z)
Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
論文参考訳（メタデータ） (2020-10-22T16:06:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。