Fugu-MT 論文翻訳(概要): FADE: Enabling Large-Scale Federated Adversarial Training on Resource-Constrained Edge Devices

論文の概要: FADE: Enabling Large-Scale Federated Adversarial Training on Resource-Constrained Edge Devices

arxiv url: http://arxiv.org/abs/2209.03839v1
Date: Thu, 8 Sep 2022 14:22:49 GMT
ステータス: 処理完了
システム内更新日: 2022-09-09 13:20:02.616686
Title: FADE: Enabling Large-Scale Federated Adversarial Training on Resource-Constrained Edge Devices
Title（参考訳）: FADE: リソース制約エッジデバイスによる大規模フェデレーション・アドバイザリトレーニングの実現
Authors: Minxue Tang, Jianyi Zhang, Mingyuan Ma, Louis DiValentin, Aolin Ding, Amin Hassanzadeh, Hai Li, Yiran Chen
Abstract要約: 我々は,資源制約のあるエッジデバイス上でATを実現するためのFADE(Federated Adversarial Decoupled Learning)という新しいフレームワークを提案する。 FADEは、逆トレーニングにDecoupled Greedy Learning (DGL)を適用することで、計算とメモリ使用量を削減する。
参考スコア（独自算出の注目度）: 36.01066121818574
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adversarial Training (AT) has been proven to be an effective method of introducing strong adversarial robustness into deep neural networks. However, the high computational cost of AT prohibits the deployment of large-scale AT on resource-constrained edge devices, e.g., with limited computing power and small memory footprint, in Federated Learning (FL) applications. Very few previous studies have tried to tackle these constraints in FL at the same time. In this paper, we propose a new framework named Federated Adversarial Decoupled Learning (FADE) to enable AT on resource-constrained edge devices in FL. FADE reduces the computation and memory usage by applying Decoupled Greedy Learning (DGL) to federated adversarial training such that each client only needs to perform AT on a small module of the entire model in each communication round. In addition, we improve vanilla DGL by adding an auxiliary weight decay to alleviate objective inconsistency and achieve better performance. FADE offers a theoretical guarantee for the adversarial robustness and convergence. The experimental results also show that FADE can significantly reduce the computing resources consumed by AT while maintaining almost the same accuracy and robustness as fully joint training.
Abstract（参考訳）: 敵対的トレーニング(AT)は、ディープニューラルネットワークに強力な敵対的堅牢性を導入する効果的な方法であることが証明されている。しかし、atの計算コストが高いため、フェデレーション学習(fl)アプリケーションでは、計算能力とメモリフットプリントの制限など、リソース制約のあるエッジデバイスへの大規模atのデプロイが禁止される。 FLにおけるこれらの制約に対処しようとする以前の研究はほとんどなかった。本稿では,FADE(Federated Adversarial Decoupled Learning)と呼ばれる新しいフレームワークを提案する。 fadeは、分離された欲望学習(dgl)を、各クライアントが通信ラウンド毎にモデル全体の小さなモジュールで実行すればよいように、連合した敵訓練に適用することで、計算とメモリ使用量を削減する。また,バニラDGLの改善には,目標不整合を緩和し,優れた性能を実現するために補助重量減衰を加える。 FADEは敵の堅牢性と収束性に関する理論的保証を提供する。実験の結果,完全関節トレーニングとほぼ同等の精度と堅牢性を保ちながら,ATが消費する計算資源を大幅に削減できることがわかった。

関連論文リスト

FedProphet: Memory-Efficient Federated Adversarial Training via Theoretic-Robustness and Low-Inconsistency Cascade Learning [20.075335314952643]
フェデレートラーニング(FL)は、データ共有をトレーニングすることなく、エッジデバイス間のローカルトレーニングを可能にすることで、強力なプライバシ保証を提供する。 FedProphetは、メモリ効率、敵の堅牢性、客観的一貫性を同時に達成できる新しいFATフレームワークである。
論文参考訳（メタデータ） (2024-09-12T19:39:14Z)
Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。 FoMosは微調整技術により、特定の下流タスクに適応する必要がある。デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
論文参考訳（メタデータ） (2024-07-13T12:47:14Z)
Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
論文参考訳（メタデータ） (2023-10-21T12:07:04Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文参考訳（メタデータ） (2023-03-01T06:16:15Z)
AnycostFL: Efficient On-Demand Federated Learning over Heterogeneous Edge Devices [20.52519915112099]
我々はAny CostFLというコスト調整可能なFLフレームワークを提案し、多様なエッジデバイスがローカル更新を効率的に実行できるようにする。実験結果から,我々の学習フレームワークは,適切なグローバルテスト精度を実現するために,トレーニング遅延とエネルギー消費の最大1.9倍の削減が可能であることが示唆された。
論文参考訳（メタデータ） (2023-01-08T15:25:55Z)
Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文参考訳（メタデータ） (2021-05-10T08:02:27Z)
Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-26T14:37:51Z)
Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文参考訳（メタデータ） (2020-03-07T11:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。