論文の概要: Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning

• arxiv url: http://arxiv.org/abs/2011.04050v1
• Date: Sun, 8 Nov 2020 18:41:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 08:55:55.006103
• Title: Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
• Title（参考訳）: Adaptive Federated Dropout: フェデレーション学習におけるコミュニケーション効率の向上と一般化
• Authors: Nader Bouacida, Jiahui Hou, Hui Zang and Xin Liu
• Abstract要約: フェデレートラーニング(Federated Learning)として知られる、革命的な分散機械学習設定により、異なる地理的場所に位置する複数のクライアントが、機械学習モデルの共同学習が可能になる。 クライアントとサーバ間のコミュニケーションは、連合学習の収束時間における主要なボトルネックと考えられている。 本稿では,適応型フェデレート・ドロップアウト(AFD)を提案する。
• 参考スコア（独自算出の注目度）: 6.982736900950362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With more regulations tackling users' privacy-sensitive data protection in recent years, access to such data has become increasingly restricted and controversial. To exploit the wealth of data generated and located at distributed entities such as mobile phones, a revolutionary decentralized machine learning setting, known as Federated Learning, enables multiple clients located at different geographical locations to collaboratively learn a machine learning model while keeping all their data on-device. However, the scale and decentralization of federated learning present new challenges. Communication between the clients and the server is considered a main bottleneck in the convergence time of federated learning. In this paper, we propose and study Adaptive Federated Dropout (AFD), a novel technique to reduce the communication costs associated with federated learning. It optimizes both server-client communications and computation costs by allowing clients to train locally on a selected subset of the global model. We empirically show that this strategy, combined with existing compression methods, collectively provides up to 57x reduction in convergence time. It also outperforms the state-of-the-art solutions for communication efficiency. Furthermore, it improves model generalization by up to 1.7%.
• Abstract（参考訳）: 近年、ユーザーのプライバシーに敏感なデータ保護に取り組む規制が増加し、そのようなデータへのアクセスは制限され、議論の的になっている。 携帯電話などの分散エンティティで生成および配置されたデータの富を活用するために、フェデレートラーニング(Federated Learning)として知られる革命的な分散機械学習設定では、異なる地理的場所に位置する複数のクライアントが、すべてのデータをデバイス上に保持しながら、機械学習モデルを協調的に学習することができる。 しかし、連合学習の規模と分散化は新たな課題をもたらす。 クライアントとサーバ間のコミュニケーションは、連合学習の収束時間における主要なボトルネックと考えられている。 本稿では,連合学習に関連するコミュニケーションコストを削減する新しい手法であるadaptive federated dropout(afd)を提案し,検討する。 グローバルモデルの選択したサブセット上でクライアントがローカルにトレーニングできるように、サーバ-クライアント通信と計算コストの両方を最適化する。 この手法と既存の圧縮手法を組み合わせることで,総計57倍の収束時間を短縮できることを実証的に示した。 また、通信効率の最先端ソリューションよりも優れています。 さらに、モデル一般化を最大1.7%改善する。

関連論文リスト

• Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation [10.541541376305245]
  Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。 FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。 本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
  論文  参考訳（メタデータ） (2024-01-25T14:49:15Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Federated Pruning: Improving Neural Network Efficiency with Federated Learning [24.36174705715827]
  フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。 異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2022-09-14T00:48:37Z)
• Federated Learning for Non-IID Data via Client Variance Reduction and Adaptive Server Update [5.161531917413708]
  フェデレーテッド・ラーニング(FL)は、グローバルな機械学習モデルを協調訓練するために使われる新興技術である。 FLの実践的実装の主な障害は、ユーザ間での非独立性およびIdentical(Non-IID)データ分散である。 クライアント側とサーバ側の両方でのトレーニングプロセス全体を強化する手法(ComFed)を提案する。
  論文  参考訳（メタデータ） (2022-07-18T05:58:19Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。