論文の概要: FADE: Enabling Federated Adversarial Training on Heterogeneous
Resource-Constrained Edge Devices
- arxiv url: http://arxiv.org/abs/2209.03839v2
- Date: Wed, 26 Apr 2023 00:46:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-27 18:15:43.328511
- Title: FADE: Enabling Federated Adversarial Training on Heterogeneous
Resource-Constrained Edge Devices
- Title（参考訳）: FADE: 異種資源制約エッジデバイスにおけるフェデレーション・ディベザリトレーニングの実現
- Authors: Minxue Tang, Jianyi Zhang, Mingyuan Ma, Louis DiValentin, Aolin Ding,
Amin Hassanzadeh, Hai Li, Yiran Chen
- Abstract要約: 我々は,資源制約のあるエッジデバイス上でATを実現するためのFADE(Federated Adversarial Decoupled Learning)という新しいフレームワークを提案する。
FADEはモデル全体を小さなモジュールに分離し、各デバイスのリソース予算に適合させる。
FADEは、精度と堅牢性を維持しつつ、メモリとコンピューティングの消費電力を大幅に削減できることを示す。
- 参考スコア（独自算出の注目度）: 36.01066121818574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated adversarial training can effectively complement adversarial
robustness into the privacy-preserving federated learning systems. However, the
high demand for memory capacity and computing power makes large-scale federated
adversarial training infeasible on resource-constrained edge devices. Few
previous studies in federated adversarial training have tried to tackle both
memory and computational constraints simultaneously. In this paper, we propose
a new framework named Federated Adversarial Decoupled Learning (FADE) to enable
AT on heterogeneous resource-constrained edge devices. FADE differentially
decouples the entire model into small modules to fit into the resource budget
of each device, and each device only needs to perform AT on a single module in
each communication round. We also propose an auxiliary weight decay to
alleviate objective inconsistency and achieve better accuracy-robustness
balance in FADE. FADE offers theoretical guarantees for convergence and
adversarial robustness, and our experimental results show that FADE can
significantly reduce the consumption of memory and computing power while
maintaining accuracy and robustness.
- Abstract（参考訳）: フェデレーション・逆境訓練は、プライバシー保護のフェデレーション・ラーニング・システムに敵の堅牢性を効果的に補完することができる。
しかし、メモリ容量と計算能力の需要が高いため、リソース制約のエッジデバイスでは大規模な対人訓練が不可能である。
記憶と計算の制約を同時に取り組もうとするフェデレートadversarial trainingのこれまでの研究はほとんどない。
本稿では,異種資源制約エッジデバイス上でATを実現するためのFADE(Federated Adversarial Decoupled Learning)というフレームワークを提案する。
FADEは、各デバイスのリソース予算に適合するために、モデル全体を小さなモジュールに分離し、各デバイスは各通信ラウンドで単一のモジュール上でATを実行する必要がある。
また,FADEにおける目的不整合を緩和し,精度・損耗バランスの向上を図るために,補助重量減衰を提案する。
FADEは, 収束性, 対向ロバスト性に関する理論的保証を提供し, 実験結果から, 精度とロバスト性を維持しつつ, メモリとコンピューティングの消費電力を大幅に削減できることが示された。
関連論文リスト
- FedProphet: Memory-Efficient Federated Adversarial Training via Theoretic-Robustness and Low-Inconsistency Cascade Learning [20.075335314952643]
フェデレートラーニング(FL)は、データ共有をトレーニングすることなく、エッジデバイス間のローカルトレーニングを可能にすることで、強力なプライバシ保証を提供する。
FedProphetは、メモリ効率、敵の堅牢性、客観的一貫性を同時に達成できる新しいFATフレームワークである。
論文 参考訳（メタデータ） (2024-09-12T19:39:14Z) - Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。
FoMosは微調整技術により、特定の下流タスクに適応する必要がある。
デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
論文 参考訳（メタデータ） (2024-07-13T12:47:14Z) - Filling the Missing: Exploring Generative AI for Enhanced Federated
Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。
実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
論文 参考訳（メタデータ） (2023-10-21T12:07:04Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - AnycostFL: Efficient On-Demand Federated Learning over Heterogeneous
Edge Devices [20.52519915112099]
我々はAny CostFLというコスト調整可能なFLフレームワークを提案し、多様なエッジデバイスがローカル更新を効率的に実行できるようにする。
実験結果から,我々の学習フレームワークは,適切なグローバルテスト精度を実現するために,トレーニング遅延とエネルギー消費の最大1.9倍の削減が可能であることが示唆された。
論文 参考訳（メタデータ） (2023-01-08T15:25:55Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T08:02:27Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。