論文の概要: Federated Learning Based on Dynamic Regularization

• arxiv url: http://arxiv.org/abs/2111.04263v2
• Date: Tue, 9 Nov 2021 16:37:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 12:46:21.694203
• Title: Federated Learning Based on Dynamic Regularization
• Title（参考訳）: 動的正規化に基づくフェデレーション学習
• Authors: Durmus Alp Emre Acar, Yue Zhao, Ramon Matas Navarro, Matthew Mattina, Paul N. Whatmough, Venkatesh Saligrama
• Abstract要約: 本稿では,ニューラルネットワークモデルを分散学習するための新しいフェデレーション学習手法を提案する。 サーバは、各ラウンドでランダムに選択されたデバイスのサブセット間の協力を編成する。
• 参考スコア（独自算出の注目度）: 43.137064459520886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel federated learning method for distributively training neural network models, where the server orchestrates cooperation between a subset of randomly chosen devices in each round. We view Federated Learning problem primarily from a communication perspective and allow more device level computations to save transmission costs. We point out a fundamental dilemma, in that the minima of the local-device level empirical loss are inconsistent with those of the global empirical loss. Different from recent prior works, that either attempt inexact minimization or utilize devices for parallelizing gradient computation, we propose a dynamic regularizer for each device at each round, so that in the limit the global and device solutions are aligned. We demonstrate both through empirical results on real and synthetic data as well as analytical results that our scheme leads to efficient training, in both convex and non-convex settings, while being fully agnostic to device heterogeneity and robust to large number of devices, partial participation and unbalanced data.
• Abstract（参考訳）: 本稿では,ランダムに選択されたデバイスのサブセット間の協調をサーバが調整し,分散的にニューラルネットワークモデルを学習する新しい連合学習手法を提案する。 我々は,通信の観点からの連合学習問題を主に捉え,伝送コストを節約するために,デバイスレベルの計算量を増やすことを可能にする。 ローカルデバイスレベルの経験的損失の最小化は、グローバルな経験的損失のそれと矛盾する、という基本的なジレンマを指摘した。 近年の研究では, 最小化を試みたり, 勾配計算の並列化にデバイスを利用する場合と異なり, 各ラウンドにおける各デバイスに対する動的正規化器を提案し, グローバル・デバイス・ソリューションの制限が整合するようにした。 実データと合成データによる実験結果と,提案手法が対流と非凸の両方において効率的なトレーニングに繋がることを示すとともに,デバイスの不均一性に完全に無依存であり,多数のデバイス,部分的参加,不均衡なデータに対して堅牢であることを示す。

関連論文リスト

• Coordination-free Decentralised Federated Learning on Complex Networks: Overcoming Heterogeneity [2.6849848612544]
  Federated Learning(FL)は、エッジコンピューティングシナリオで学習タスクを実行するためのフレームワークである。 本稿では,コミュニケーション効率のよい分散フェデレート学習(DFL)アルゴリズムを提案する。 我々のソリューションは、デバイスが直接隣人とのみ通信し、正確なモデルを訓練することを可能にする。
  論文  参考訳（メタデータ） (2023-12-07T18:24:19Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Personalized Federated Learning with Communication Compression [5.389294754404344]
  双方向通信プロトコルでL2GD(Loopless Gradient Descent)アルゴリズムを実装した。 我々のアルゴリズムは確率的通信プロトコルで動作しており、通信は固定されたスケジュールで行われない。
  論文  参考訳（メタデータ） (2022-09-12T11:08:44Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Fast Federated Learning in the Presence of Arbitrary Device Unavailability [26.368873771739715]
  Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。 ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。 我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
  論文  参考訳（メタデータ） (2021-06-08T07:46:31Z)
• Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation [24.084053136210027]
  グラフシーケンシャル畳み込みネットワーク(GCN)に基づくサンプリング手法を開発した。 提案手法は,全機器の5%以下をサンプリングしながら,訓練されたモデル精度と必要なリソース利用の両面で,fedl(federated learning)を実質的に上回っている。
  論文  参考訳（メタデータ） (2021-01-04T05:59:50Z)
• Federated learning with class imbalance reduction [24.044750119251308]
  フェデレートラーニング(Federated Learning, FL)は、多数のエッジコンピューティングデバイスが協調してグローバルラーニングモデルをトレーニングすることを可能にする技術である。 プライバシー上の懸念から、デバイス上の生データは集中型サーバでは利用できない。 本稿では,生データを意識せずにクラス分布を明らかにするための推定手法を提案する。
  論文  参考訳（メタデータ） (2020-11-23T08:13:43Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。