論文の概要: Faster On-Device Training Using New Federated Momentum Algorithm

• arxiv url: http://arxiv.org/abs/2002.02090v1
• Date: Thu, 6 Feb 2020 04:12:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 10:00:44.581544
• Title: Faster On-Device Training Using New Federated Momentum Algorithm
• Title（参考訳）: 新しいフェデレーションモーメントアルゴリズムを用いたデバイス上の高速トレーニング
• Authors: Zhouyuan Huo, Qian Yang, Bin Gu, Lawrence Carin. Heng Huang
• Abstract要約: 近年,モバイルクラウドセンシングが注目され,モノのインターネット(Internet of Things)アプリケーションにとって重要なパラダイムとなっている。 これらのデータを機械学習モデルのトレーニングに利用するために、ユーザの機会を損なうことなく、フェデレーションは有望なソリューションとなった。
• 参考スコア（独自算出の注目度）: 47.187934818456604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mobile crowdsensing has gained significant attention in recent years and has become a critical paradigm for emerging Internet of Things applications. The sensing devices continuously generate a significant quantity of data, which provide tremendous opportunities to develop innovative intelligent applications. To utilize these data to train machine learning models while not compromising user privacy, federated learning has become a promising solution. However, there is little understanding of whether federated learning algorithms are guaranteed to converge. We reconsider model averaging in federated learning and formulate it as a gradient-based method with biased gradients. This novel perspective assists analysis of its convergence rate and provides a new direction for more acceleration. We prove for the first time that the federated averaging algorithm is guaranteed to converge for non-convex problems, without imposing additional assumptions. We further propose a novel accelerated federated learning algorithm and provide a convergence guarantee. Simulated federated learning experiments are conducted to train deep neural networks on benchmark datasets, and experimental results show that our proposed method converges faster than previous approaches.
• Abstract（参考訳）: 近年,モバイルクラウドセンシングが注目され,モノのインターネット(Internet of Things)アプリケーションにとって重要なパラダイムとなっている。 センシングデバイスは大量のデータを継続的に生成し、革新的なインテリジェントなアプリケーションを開発する絶好の機会を与えます。 ユーザのプライバシを損なうことなく、これらのデータを機械学習モデルのトレーニングに活用することは、有望なソリューションとなっている。 しかし、連合学習アルゴリズムが収束することが保証されているかどうかについてはほとんど理解されていない。 偏りのある勾配法として,フェデレート学習における平均化モデルを再考し,定式化する。 この新しい視点は収束速度の分析を支援し、さらなる加速のための新しい方向を提供する。 我々は,フェデレーション平均化アルゴリズムが,新たな仮定を課すことなく,非凸問題に収束することを初めて証明した。 さらに,新しい高速化フェデレーション学習アルゴリズムを提案し,収束保証を提供する。 ベンチマークデータセット上での深層ニューラルネットワークの学習をシミュレーションした学習実験を行い,提案手法が従来の手法よりも高速に収束することを示す。

関連論文リスト

• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Accelerating Federated Edge Learning via Topology Optimization [41.830942005165625]
  フェデレートエッジラーニング(FEEL)は、プライバシー保護の分散ラーニングを実現するための有望なパラダイムとして考えられている。 ストラグラー装置の存在により、過度の学習時間を消費する。 フェデレーション学習における不均一性問題に対処するために,新しいトポロジ最適化フェデレーション・エッジ・ラーニング(TOFEL)手法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T14:49:55Z)
• Fast Federated Learning in the Presence of Arbitrary Device Unavailability [26.368873771739715]
  Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。 ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。 我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
  論文  参考訳（メタデータ） (2021-06-08T07:46:31Z)
• Concept drift detection and adaptation for federated and continual learning [55.41644538483948]
  スマートデバイスは環境から大量のデータを収集することができる。 このデータは機械学習モデルのトレーニングに適しており、その振る舞いを大幅に改善することができる。 そこで本研究では,Concept-Drift-Aware Federated Averagingと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-05-27T17:01:58Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty [18.096788806121754]
  近年,フェデレートラーニング(FL)が注目されている。 知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。 我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。 実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
  論文  参考訳（メタデータ） (2020-11-23T12:52:18Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。