Fugu-MT 論文翻訳(概要): CSER: Communication-efficient SGD with Error Reset

論文の概要: CSER: Communication-efficient SGD with Error Reset

arxiv url: http://arxiv.org/abs/2007.13221v3
Date: Sat, 5 Dec 2020 00:06:28 GMT
ステータス: 処理完了
システム内更新日: 2022-11-06 19:55:11.480208
Title: CSER: Communication-efficient SGD with Error Reset
Title（参考訳）: CSER:エラーリセットによる通信効率の良いSGD
Authors: Cong Xie, Shuai Zheng, Oluwasanmi Koyejo, Indranil Gupta, Mu Li, Haibin Lin
Abstract要約: 本稿では,エラーリセットによる通信効率のよいSGD,CSERを提案する。 CSERのキーとなるアイデアは、まず「エラーリセット」と呼ばれる新しいテクニックで、周期的なリセットで任意のモデルに適応し、局所的なエラーをもたらす。実験の結果、CSERは10AR-100で約x、ImageNetで4.5倍の速度で分散を加速することがわかった。
参考スコア（独自算出の注目度）: 25.883686248118398
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The scalability of Distributed Stochastic Gradient Descent (SGD) is today limited by communication bottlenecks. We propose a novel SGD variant: Communication-efficient SGD with Error Reset, or CSER. The key idea in CSER is first a new technique called "error reset" that adapts arbitrary compressors for SGD, producing bifurcated local models with periodic reset of resulting local residual errors. Second we introduce partial synchronization for both the gradients and the models, leveraging advantages from them. We prove the convergence of CSER for smooth non-convex problems. Empirical results show that when combined with highly aggressive compressors, the CSER algorithms accelerate the distributed training by nearly 10x for CIFAR-100, and by 4.5x for ImageNet.
Abstract（参考訳）: SGD(Distributed Stochastic Gradient Descent)のスケーラビリティは、今日では通信ボトルネックによって制限されている。本稿では,エラーリセットによる通信効率のよいSGD,CSERを提案する。 CSERの鍵となるアイデアは、まず「エラーリセット」と呼ばれる新しい手法で、SGDの任意の圧縮機を適応させ、局所的残差を周期的にリセットした局所モデルを生成する。次に,勾配とモデルの両方に対して部分同期を導入し,それらの利点を生かした。円滑な非凸問題に対するCSERの収束性を証明する。実験の結果,CSERアルゴリズムは高速圧縮機と組み合わせることで,CIFAR-100の約10倍,ImageNetの4.5倍の分散トレーニングを高速化することがわかった。

関連論文リスト

LoCo: Low-Bit Communication Adaptor for Large-scale Model Training [63.040522637816906]
低ビット通信は、しばしば圧縮情報損失によってトレーニング品質が低下する。本稿では,ローカルGPUノードを補償するLoCo(Lo-bit Communication Adaptor)を提案する。実験結果から,Megatron-LMやPyTorchs FSDPといった大規模トレーニングモデルフレームワークの移動により,LoCoは圧縮通信効率を大幅に向上することがわかった。
論文参考訳（メタデータ） (2024-07-05T13:01:36Z)
Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
論文参考訳（メタデータ） (2024-02-19T05:59:09Z)
Convergence Analysis of Decentralized ASGD [1.8710230264817358]
本稿では,ノード間の部分同期や制限的ネットワークトポロジを必要としない分散非同期SGD(DASGD)に対する新しい収束速度解析法を提案する。我々の収束証明は、固定段数と任意の非滑らかで同質でL字型の目的函数を仮定する。
論文参考訳（メタデータ） (2023-09-07T14:50:31Z)
Switch and Conquer: Efficient Algorithms By Switching Stochastic Gradient Oracles For Decentralized Saddle Point Problems [1.2277343096128712]
そこで本研究では, 一次変数と双対変数の更新を可能にする非接触な原始的ハイブリッド勾配(非接触PDHG)法を開発した。 GSGとSVRGの最適収束位相を利用することで、C-DPSSGが低-ナトリウム精度の解を得るのに適していることを示す。
論文参考訳（メタデータ） (2023-09-02T17:48:42Z)
Towards Understanding the Generalizability of Delayed Stochastic Gradient Descent [63.43247232708004]
非同期で実行される勾配降下は、大規模機械学習モデルのトレーニングにおいて重要な役割を果たす。既存の一般化誤差境界は悲観的であり、非同期遅延と一般化の相関を明らかにすることはできない。我々の理論的結果は、非同期遅延は遅延SGDアルゴリズムの一般化誤差を低減することを示唆している。
論文参考訳（メタデータ） (2023-08-18T10:00:27Z)
Revisiting Discriminator in GAN Compression: A Generator-discriminator Cooperative Compression Scheme [65.5405625485559]
GAN圧縮は、リソース制約のあるエッジデバイスにGANをデプロイする際の計算オーバーヘッドとメモリ使用量を大幅に削減することを目的としている。本稿では,GAN圧縮における識別器の役割を再考し,GAN圧縮のための新しいジェネレータ-識別器協調圧縮スキームであるGCCを設計する。
論文参考訳（メタデータ） (2021-10-27T13:54:55Z)
Compressing gradients by exploiting temporal correlation in momentum-SGD [17.995905582226463]
エラーフィードバックのないシステムにおける時間相関を利用した圧縮手法を解析する。 ImageNetデータセットを用いた実験により,提案手法は通信速度を著しく低減することを示した。我々は、最小勾配ノルムの有界性を確立することにより、予測誤差仮定の下でSGDの収束を証明した。
論文参考訳（メタデータ） (2021-08-17T18:04:06Z)
Self Sparse Generative Adversarial Networks [73.590634413751]
GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
論文参考訳（メタデータ） (2021-01-26T04:49:12Z)
FetchSGD: Communication-Efficient Federated Learning with Sketching [45.483040586122115]
既存のフェデレーション学習へのアプローチは、コミュニケーションのボトルネックと、疎結合なクライアント参加による収束の問題に悩まされている。 FetchSGDはCount Sketchを使用してモデル更新を圧縮し、スケッチのマージ可能性を活用して、多くのワーカのモデル更新を組み合わせる。
論文参考訳（メタデータ） (2020-07-15T13:46:34Z)
Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文参考訳（メタデータ） (2020-04-11T03:50:59Z)
Intermittent Pulling with Local Compensation for Communication-Efficient Federated Learning [20.964434898554344]
Federated Learningは、高度に分散したデータでグローバルモデルをトレーニングするための強力な機械学習パラダイムである。分散SGDの性能における大きなボトルネックは、ローカルおよびプルグローバルモデルをプッシュする際の通信オーバーヘッドである。本稿では,通信オーバーヘッドを低減するため,PRLC (Gradient Pulling Compensation) という新しい手法を提案する。
論文参考訳（メタデータ） (2020-01-22T20:53:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。