論文の概要: Periodic Stochastic Gradient Descent with Momentum for Decentralized Training

• arxiv url: http://arxiv.org/abs/2008.10435v1
• Date: Mon, 24 Aug 2020 13:38:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 09:16:34.955166
• Title: Periodic Stochastic Gradient Descent with Momentum for Decentralized Training
• Title（参考訳）: 分権訓練用モーメント付き周期的確率的グラディエントDescence
• Authors: Hongchang Gao, Heng Huang
• Abstract要約: 本稿では、モーメントスキーマと周期通信を併用した、分散学習のための新しい周期型モーメントSGD法を提案する。 提案した2つの手法の性能を検証するための広範囲な実験を行い、どちらも既存の手法よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 114.36410688552579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized training has been actively studied in recent years. Although a wide variety of methods have been proposed, yet the decentralized momentum SGD method is still underexplored. In this paper, we propose a novel periodic decentralized momentum SGD method, which employs the momentum schema and periodic communication for decentralized training. With these two strategies, as well as the topology of the decentralized training system, the theoretical convergence analysis of our proposed method is difficult. We address this challenging problem and provide the condition under which our proposed method can achieve the linear speedup regarding the number of workers. Furthermore, we also introduce a communication-efficient variant to reduce the communication cost in each communication round. The condition for achieving the linear speedup is also provided for this variant. To the best of our knowledge, these two methods are all the first ones achieving these theoretical results in their corresponding domain. We conduct extensive experiments to verify the performance of our proposed two methods, and both of them have shown superior performance over existing methods.
• Abstract（参考訳）: 近年,分散学習が盛んに研究されている。 様々な手法が提案されているが、分散化運動量SGD法はまだ未定である。 本稿では,分散学習のための運動量スキーマと周期的通信を用いた周期的分散モーメントsgd法を提案する。 これら2つの戦略と分散トレーニングシステムのトポロジーにより,提案手法の理論的収束解析は困難である。 本稿では,この問題に対処し,提案手法が作業者数に関する線形速度アップを実現する条件を提案する。 さらに,各通信ラウンドにおける通信コストを削減するための通信効率の変動も導入する。 また、この変種に対して線形スピードアップを達成する条件も提供される。 我々の知る限りでは、これらの2つの手法は対応する領域においてこれらの理論的結果を達成する最初の方法である。 提案する2つの手法の性能を検証するために広範な実験を行い,両手法ともに既存の手法よりも優れた性能を示した。

関連論文リスト

• From promise to practice: realizing high-performance decentralized training [8.955918346078935]
  ディープニューラルネットワークの分散トレーニングは、All-Reduceのような同期データ並列メソッドよりも理論的に優れたスケーラビリティのために大きな注目を集めている。 本稿では、All-Reduceトレーニングのスピードアップにつながる3つの重要な要因を特定し、いつ、どのように、どの程度の分散化によって、より短い実行時間が得られるかを決定するランタイムモデルを構築する。
  論文  参考訳（メタデータ） (2024-10-15T19:04:56Z)
• Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
  我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。 我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。 本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Local Methods with Adaptivity via Scaling [38.99428012275441]
  本稿では,局所的な学習手法と適応的アプローチを融合して,効率的な分散学習手法を開発することを目的とする。 従来のローカルSGD法について検討し,スケーリング機能により拡張する。 理論的解析に加えて,ニューラルネットワークのトレーニングにより,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-02T19:50:05Z)
• Scalable Optimal Margin Distribution Machine [50.281535710689795]
  ODM(Optimal margin Distribution Machine)は、新しいマージン理論に根ざした新しい統計学習フレームワークである。 本稿では,従来のODMトレーニング手法に比べて10倍近い高速化を実現するスケーラブルなODMを提案する。
  論文  参考訳（メタデータ） (2023-05-08T16:34:04Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Fast and Robust Sparsity Learning over Networks: A Decentralized Surrogate Median Regression Approach [10.850336820582678]
  本稿では、分散化空間学習問題を効率的に解くために、分散化代理中央回帰法(deSMR)を提案する。 提案アルゴリズムは,簡単な実装で線形収束率を満足する。 また,スパース・サポート・リカバリの理論的結果も確立した。
  論文  参考訳（メタデータ） (2022-02-11T08:16:01Z)
• A general framework for decentralized optimization with first-order methods [11.50057411285458]
  ノードネットワーク上の関数の有限和を最小化する分散最適化は、制御と信号処理の研究において重要な焦点となっている。 高度なコンピューティングと大規模データサイエンスの必要性の出現は、この分野における活動の復活につながった。 本稿では、制御、信号処理、機械学習問題に多大な成功を収めた分散一階勾配法について論じる。
  論文  参考訳（メタデータ） (2020-09-12T17:52:10Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• Step-Ahead Error Feedback for Distributed Training with Compressed Gradient [99.42912552638168]
  集中型分散トレーニングにおける局所的エラーフィードバックによって,新たな"段階的ミスマッチ"問題が発生することを示す。 本稿では, 厳密な理論的解析を施した2つの新しい手法, 1) 一歩前進, 2) 誤差平均化を提案する。
  論文  参考訳（メタデータ） (2020-08-13T11:21:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。