論文の概要: Scaling the Wild: Decentralizing Hogwild!-style Shared-memory SGD

• arxiv url: http://arxiv.org/abs/2203.06638v1
• Date: Sun, 13 Mar 2022 11:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 08:30:50.516959
• Title: Scaling the Wild: Decentralizing Hogwild!-style Shared-memory SGD
• Title（参考訳）: ワイルドのスケーリング: ホグウィルドの分散化! スタイル共有メモリSGD
• Authors: Bapi Chatterjee and Vyacheslav Kungurtsev and Dan Alistarh
• Abstract要約: Hogwilld!は共有メモリ設定上でSGDを並列化するゴーツーアプローチである。 本稿では,分散分散メモリを並列共有メモリSGD自体で動作するノードに組み込むことを提案する。
• 参考スコア（独自算出の注目度）: 29.6870062491741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Powered by the simplicity of lock-free asynchrony, Hogwilld! is a go-to approach to parallelize SGD over a shared-memory setting. Despite its popularity and concomitant extensions, such as PASSM+ wherein concurrent processes update a shared model with partitioned gradients, scaling it to decentralized workers has surprisingly been relatively unexplored. To our knowledge, there is no convergence theory of such methods, nor systematic numerical comparisons evaluating speed-up. In this paper, we propose an algorithm incorporating decentralized distributed memory computing architecture with each node running multiprocessing parallel shared-memory SGD itself. Our scheme is based on the following algorithmic tools and features: (a) asynchronous local gradient updates on the shared-memory of workers, (b) partial backpropagation, and (c) non-blocking in-place averaging of the local models. We prove that our method guarantees ergodic convergence rates for non-convex objectives. On the practical side, we show that the proposed method exhibits improved throughput and competitive accuracy for standard image classification benchmarks on the CIFAR-10, CIFAR-100, and Imagenet datasets. Our code is available at https://github.com/bapi/LPP-SGD.
• Abstract（参考訳）: hogwilld!は、ロックフリーの非同期性によって、共有メモリ設定上でsgdを並列化するためのgo-toアプローチである。 並列プロセスが共有モデルを分割された勾配で更新するpassm+のような人気と共用的な拡張にもかかわらず、分散されたワーカーにスケールすることは驚くほど未開拓である。 我々の知る限り、そのような手法の収束理論や、スピードアップを評価する体系的な数値比較は存在しない。 本稿では,マルチプロセッシング並列共有メモリsgd自体を実行するノード毎に分散分散分散メモリコンピューティングアーキテクチャを組み込んだアルゴリズムを提案する。 我々のスキームは以下のアルゴリズムツールと特徴に基づいている。 (a)ワーカーの共有メモリに関する非同期ローカル勾配更新。 b)部分的バックプロパゲーション,及び (c)局所モデルの非ブロッキングインプレース平均化。 本手法は,非凸目標に対するエルゴード収束率を保証する。 本手法は,CIFAR-10, CIFAR-100, Imagenetデータセット上での標準画像分類ベンチマークにおいて,スループットと競合精度の向上を示す。 私たちのコードはhttps://github.com/bapi/lpp-sgdで利用可能です。

関連論文リスト

• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates [1.9241821314180372]
  バックプロパゲーションの大きな欠点の1つは、アルゴリズムの前方フェーズと後方フェーズの間のインターロックである。 本稿では,複数のスレッドから非同期に更新することで,モデルのレイヤ間でSGD更新を並列化する手法を提案する。 このアプローチは、Hongwild!よりも最大2.97倍高速で複数のデバイスでスケールしながら、最先端の結果に近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-08T12:32:36Z)
• AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms [45.90015262911875]
  不均一な環境で分散SGDのための非同期型アルゴリズムを解析する。 また,本分析の副産物として,ランダムなきついSGDのような勾配型アルゴリズムの保証を示す。
  論文  参考訳（メタデータ） (2023-10-31T13:44:53Z)
• ByzSecAgg: A Byzantine-Resistant Secure Aggregation Scheme for Federated Learning Based on Coded Computing and Vector Commitment [90.60126724503662]
  ByzSecAggは、フェデレートラーニングのための効率的なセキュアアグリゲーションスキームである。 ByzSecAggは、ビザンツの攻撃やプライバシーの漏洩から保護されている。
  論文  参考訳（メタデータ） (2023-02-20T11:15:18Z)
• Recall@k Surrogate Loss with Large Batches and Similarity Mixup [62.67458021725227]
  微分不可能な場合、評価計量の勾配降下による直接最適化は不可能である。 本研究は,リコールにおける相異なるサロゲート損失を提案する。 提案手法は,複数の画像検索ベンチマークにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-08-25T11:09:11Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)
• DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging [4.652668321425679]
  ミニバッチ勾配降下(SGD)アルゴリズムでは、作業者は前方/後方の伝搬を停止する必要がある。 DaSGDはSGDとフォワード/バックの伝搬を並列化し、通信オーバーヘッドの100%を隠蔽する。
  論文  参考訳（メタデータ） (2020-05-31T05:43:50Z)
• Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent [28.006781039853575]
  近年の機械学習の進歩を支える重要な要素は、大規模な分散メモリ環境で機械学習モデルをトレーニングする能力である。 本稿では,大規模機械学習モデルの学習に使用される一般収束手法を提案する。 我々のフレームワークは弾性弾性境界と呼ばれ、様々な分散SGD法に対する収束境界を導出することができる。
  論文  参考訳（メタデータ） (2020-01-16T16:10:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。