論文の概要: FedProphet: Memory-Efficient Federated Adversarial Training via Robust and Consistent Cascade Learning

• arxiv url: http://arxiv.org/abs/2409.08372v2
• Date: Mon, 14 Apr 2025 18:20:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-25 12:55:52.827019
• Title: FedProphet: Memory-Efficient Federated Adversarial Training via Robust and Consistent Cascade Learning
• Title（参考訳）: FedProphet:ロバストと一貫性のあるカスケード学習によるメモリ効率の良いフェデレーション・アドバイザリトレーニング
• Authors: Minxue Tang, Yitu Wang, Jingyang Zhang, Louis DiValentin, Aolin Ding, Amin Hass, Yiran Chen, Hai "Helen" Li,
• Abstract要約: FAT(Federated Adversarial Training)は、FAT(Federated Learning)に対する敵の例に対する頑健さを補うことができる。 既存のメモリ効率のFL法は、不整合な局所モデルと大域モデルによる精度の低下と弱い堅牢性に悩まされている。 我々は、メモリ効率、堅牢性、一貫性を同時に達成できる新しいFedProphetフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 20.075335314952643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Adversarial Training (FAT) can supplement robustness against adversarial examples to Federated Learning (FL), promoting a meaningful step toward trustworthy AI. However, FAT requires large models to preserve high accuracy while achieving strong robustness, incurring high memory-swapping latency when training on memory-constrained edge devices. Existing memory-efficient FL methods suffer from poor accuracy and weak robustness due to inconsistent local and global models. In this paper, we propose FedProphet, a novel FAT framework that can achieve memory efficiency, robustness, and consistency simultaneously. FedProphget reduces the memory requirement in local training while guaranteeing adversarial robustness by adversarial cascade learning with strong convexity regularization, and we show that the strong robustness also implies low inconsistency in FedProphet. We also develop a training coordinator on the server of FL, with Adaptive Perturbation Adjustment for utility-robustness balance and Differentiated Module Assignment for objective inconsistency mitigation. FedPeophet significantly outperforms other baselines under different experimental settings, maintaining the accuracy and robustness of end-to-end FAT with 80% memory reduction and up to 10.8x speedup in training time.
• Abstract（参考訳）: FAT(Federated Adversarial Training)は、FFL(Federated Learning)に対する敵の例に対する堅牢性を補完し、信頼できるAIに向けた重要なステップを促進する。 しかし、FATは、強い堅牢性を達成しつつ高い精度を維持するために大きなモデルを必要とし、メモリ制約エッジデバイスでトレーニングを行う際に、高いメモリスワッピングレイテンシを発生させる。 既存のメモリ効率のFL法は、不整合な局所モデルと大域モデルによる精度の低下と弱い堅牢性に悩まされている。 本稿では,メモリ効率,堅牢性,一貫性を同時に実現可能な新しいFATフレームワークであるFedProphetを提案する。 また,FedProphgetは,強い凸性正規化を伴う対側カスケード学習により,対側ロバスト性を確保しつつ,局所訓練における記憶要求を低減し,強ロバスト性はFedProphetの非整合性も低いことを示す。 また,FL のサーバ上でのトレーニングコーディネータを開発し,実用ロバスト性バランスのための適応摂動調整と,目的的不整合軽減のための微分モジュールアサインメントを開発した。 FedPeophetは、異なる実験条件下で他のベースラインを著しく上回り、80%のメモリ削減と最大10.8倍のスピードアップでエンドツーエンドのFATの精度と堅牢性を維持する。

関連論文リスト

• FedPaI: Achieving Extreme Sparsity in Federated Learning via Pruning at Initialization [10.425903190996785]
  Federated Learning (FL)は、エッジデバイス上での分散トレーニングを可能にする。 現在の反復プルーニング技術は通信効率を向上するが、集中設計によって制限される。 本稿では,Pruning at Initialization (PaI) を利用して極端に疎結合を実現する新しいFLフレームワークであるFedPaIを提案する。
  論文  参考訳（メタデータ） (2025-04-01T00:24:34Z)
• Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness [7.742297876120561]
  本稿では, 対向摂動に対する層次感度を定量化する新しい計量法であるModule Robustness Sensitivity (MRS)を紹介する。 本稿では,任意の対向学習法に適合する適応型プルーニングアルゴリズムであるModule Robust Pruning and Fine-Tuning (MRPF)を提案する。
  論文  参考訳（メタデータ） (2024-10-19T18:35:52Z)
• TPFL: A Trustworthy Personalized Federated Learning Framework via Subjective Logic [13.079535924498977]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 ほとんどのFLアプローチは、プライバシ保護に重点を置いているが、信頼性が不可欠であるシナリオでは不足している。 主観的論理を用いた分類タスク用に設計された信頼に足る個人化フェデレーション学習フレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-10-16T07:33:29Z)
• Logit Calibration and Feature Contrast for Robust Federated Learning on Non-IID Data [45.11652096723593]
  Federated Learning(FL)は、エッジネットワークのデバイス上で協調的なモデルトレーニングを行うための、プライバシ保護のための分散フレームワークである。 本稿では,ローカルロジットアンダーラインキャリブレーションとグローバル機能アンダーラインコントラストを,ロジットと特徴の両方の観点から,バニラフェデレーション付き対人訓練プロセスに組み込んだFatCCを提案する。
  論文  参考訳（メタデータ） (2024-04-10T06:35:25Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
  我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。 FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。 実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
  論文  参考訳（メタデータ） (2024-02-18T23:14:40Z)
• Contractive error feedback for gradient compression [60.05809370598166]
  本稿では,ConEF(Contractive error feedback)と呼ばれる通信効率のよい手法を提案する。 メモリを効率よく管理しないエラーフィードバック(EFSGD)を持つSGDとは対照的に、ConEFはコンバージェンスとメモリ使用率のスイートスポットを取得する。 我々は、画像分類、言語モデリング、機械翻訳を含む様々な学習タスクにおいて、ConEFを実証的に検証する。
  論文  参考訳（メタデータ） (2023-12-13T21:54:21Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Fast Adversarial Training with Smooth Convergence [51.996943482875366]
  我々は,FAT(Fast Adversarial Training)作業のトレーニングプロセスを分析し,破滅的なオーバーフィッティングが損失収束アウトリーの出現に伴うことを観察した。 円滑な損失収束過程を実現するために,隣接するエポック間の損失差を制限する新しい振動制約(Dubed ConvergeSmooth)を提案する。 提案手法は攻撃非依存であり,様々なFAT技術の訓練安定性を向上させることができる。
  論文  参考訳（メタデータ） (2023-08-24T15:28:52Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
  本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。 我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。 提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T11:46:34Z)
• Strength-Adaptive Adversarial Training [103.28849734224235]
  対戦訓練(AT)は、敵データに対するネットワークの堅牢性を確実に改善することが証明されている。 所定の摂動予算を持つ現在のATは、堅牢なネットワークの学習に制限がある。 本稿では,これらの制限を克服するために,emphStrength-Adaptive Adversarial Training (SAAT)を提案する。
  論文  参考訳（メタデータ） (2022-10-04T00:22:37Z)
• FADE: Enabling Federated Adversarial Training on Heterogeneous Resource-Constrained Edge Devices [36.01066121818574]
  我々は,資源制約のあるエッジデバイス上でATを実現するためのFADE(Federated Adversarial Decoupled Learning)という新しいフレームワークを提案する。 FADEはモデル全体を小さなモジュールに分離し、各デバイスのリソース予算に適合させる。 FADEは、精度と堅牢性を維持しつつ、メモリとコンピューティングの消費電力を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2022-09-08T14:22:49Z)
• Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy [27.243322019117144]
  フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。 トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。 差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。 本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
  論文  参考訳（メタデータ） (2022-02-15T04:05:42Z)
• MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
  本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。 提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。 以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-26T21:15:17Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。