論文の概要: Adaptive Serverless Learning
- arxiv url: http://arxiv.org/abs/2008.10422v1
- Date: Mon, 24 Aug 2020 13:23:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 11:42:54.343574
- Title: Adaptive Serverless Learning
- Title（参考訳）: 適応型サーバレス学習
- Authors: Hongchang Gao, Heng Huang
- Abstract要約: 本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。
提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。
通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
- 参考スコア（独自算出の注目度）: 114.36410688552579
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the emergence of distributed data, training machine learning models in
the serverless manner has attracted increasing attention in recent years.
Numerous training approaches have been proposed in this regime, such as
decentralized SGD. However, all existing decentralized algorithms only focus on
standard SGD. It might not be suitable for some applications, such as deep
factorization machine in which the feature is highly sparse and categorical so
that the adaptive training algorithm is needed. In this paper, we propose a
novel adaptive decentralized training approach, which can compute the learning
rate from data dynamically. To the best of our knowledge, this is the first
adaptive decentralized training approach. Our theoretical results reveal that
the proposed algorithm can achieve linear speedup with respect to the number of
workers. Moreover, to reduce the communication-efficient overhead, we further
propose a communication-efficient adaptive decentralized training approach,
which can also achieve linear speedup with respect to the number of workers. At
last, extensive experiments on different tasks have confirmed the effectiveness
of our proposed two approaches.
- Abstract（参考訳）: 分散データの出現に伴い、サーバレスな方法で機械学習モデルをトレーニングすることが近年注目を集めている。
この体制では、分散sgdのような多くのトレーニングアプローチが提案されている。
しかし、既存の分散アルゴリズムはすべて標準SGDのみに焦点を当てている。
適応的学習アルゴリズムが必要とされるように、この機能が高度にスパースで分類可能なディープ・ファクタライゼーション・マシンなど、いくつかのアプリケーションには適さないかもしれない。
本稿では,データから学習率を動的に計算できる適応型分散学習手法を提案する。
私たちの知る限りでは、これは最初の適応型分散トレーニングアプローチです。
提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。
さらに,コミュニケーション効率のよいオーバヘッドを削減するために,作業者数に対して線形速度アップを実現する通信効率のよい適応分散トレーニング手法を提案する。
最終的に、異なるタスクに対する広範な実験により、提案した2つのアプローチの有効性が確認された。
関連論文リスト
- MelissaDL x Breed: Towards Data-Efficient On-line Supervised Training of Multi-parametric Surrogates with Active Learning [0.0]
オンライン・サロゲート・トレーニングにおけるデータ効率を向上させるための新しいアクティブ・ラーニング手法を提案する。
シュロゲートは、初期条件と境界条件の異なるパラメータで、与えられた時間ステップを直接予測するように訓練される。
2次元熱PDEの予備的な結果は、この方法、ブリード (Breed) の可能性を示し、サロゲートの一般化能力を向上させる。
論文 参考訳（メタデータ） (2024-10-08T09:52:15Z) - Local Methods with Adaptivity via Scaling [38.99428012275441]
本稿では,局所的な学習手法と適応的アプローチを融合して,効率的な分散学習手法を開発することを目的とする。
従来のローカルSGD法について検討し,スケーリング機能により拡張する。
理論的解析に加えて,ニューラルネットワークのトレーニングにより,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2024-06-02T19:50:05Z) - Imitation Learning based Alternative Multi-Agent Proximal Policy
Optimization for Well-Formed Swarm-Oriented Pursuit Avoidance [15.498559530889839]
本稿では,分散学習に基づく代替的マルチエージェント・プロキシ・ポリシー最適化(IA-MAPPO)アルゴリズムを提案する。
擬似学習を利用して生成コントローラを分散化し,通信オーバーヘッドを低減し,スケーラビリティを向上させる。
シミュレーションの結果,IA-MAPPOの有効性が検証され,広範囲なアブレーション実験により,通信オーバーヘッドが著しく減少する集中型解に匹敵する性能が示された。
論文 参考訳（メタデータ） (2023-11-06T06:58:16Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Online Distributed Learning with Quantized Finite-Time Coordination [0.4910937238451484]
私たちの設定では、エージェントのセットは、ストリーミングデータから学習モデルを協調的にトレーニングする必要があります。
本稿では,量子化された有限時間協調プロトコルに依存する分散アルゴリズムを提案する。
提案アルゴリズムの性能を,オンラインソリューションからの平均距離の観点から解析する。
論文 参考訳（メタデータ） (2023-07-13T08:36:15Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。
今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。
実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。
本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
論文 参考訳（メタデータ） (2021-02-18T13:49:28Z) - A Low Complexity Decentralized Neural Net with Centralized Equivalence
using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。
我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。
本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文 参考訳（メタデータ） (2020-09-29T13:08:12Z) - Decentralized MCTS via Learned Teammate Models [89.24858306636816]
本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。
深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
論文 参考訳（メタデータ） (2020-03-19T13:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。