論文の概要: CADA: Communication-Adaptive Distributed Adam

• arxiv url: http://arxiv.org/abs/2012.15469v1
• Date: Thu, 31 Dec 2020 06:52:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 16:55:47.123650
• Title: CADA: Communication-Adaptive Distributed Adam
• Title（参考訳）: CADA: コミュニケーション適応型分散アダム
• Authors: Tianyi Chen, Ziye Guo, Yuejiao Sun and Wotao Yin
• Abstract要約: 勾配降下(SGD)は、大規模機械学習の主要な作業場としてステージに立った。 本稿では,Adam方式の通信適応型手法とみなす分散機械学習の適応勾配降下法を提案する。
• 参考スコア（独自算出の注目度）: 31.02472517086767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent (SGD) has taken the stage as the primary workhorse for large-scale machine learning. It is often used with its adaptive variants such as AdaGrad, Adam, and AMSGrad. This paper proposes an adaptive stochastic gradient descent method for distributed machine learning, which can be viewed as the communication-adaptive counterpart of the celebrated Adam method - justifying its name CADA. The key components of CADA are a set of new rules tailored for adaptive stochastic gradients that can be implemented to save communication upload. The new algorithms adaptively reuse the stale Adam gradients, thus saving communication, and still have convergence rates comparable to original Adam. In numerical experiments, CADA achieves impressive empirical performance in terms of total communication round reduction.
• Abstract（参考訳）: 確率勾配降下(SGD)は、大規模機械学習の第一の作業場である。 AdaGrad、Adam、AMSGradなどの適応型でよく使われている。 本稿では,分散機械学習における適応確率勾配降下法を提案する。これは,有名なAdam方式の通信適応的手法とみなすことができ,CADAという名称を正当化することができる。 CADAの重要なコンポーネントは、通信アップロードを保存するために実装できる適応確率勾配に適した新しいルールのセットである。 新しいアルゴリズムは、古いadam勾配を適応的に再利用し、通信を節約し、元のadamに匹敵する収束率を持つ。 数値実験では、CADAは、全通信ラウンドの削減の観点から、印象的な経験的性能を達成する。

関連論文リスト

• Dissecting adaptive methods in GANs [46.90376306847234]
  我々は、適応的手法がGAN(Generative Adversarial Network)の訓練にどう役立つかを検討する。 我々は,Adam更新の程度とSGDの正規化方向の更新ルールを考慮し,Adamの適応度がGANトレーニングの鍵であることを実証的に示す。 この設定では、nSGDAで訓練されたGANが真の分布のすべてのモードを回復するのに対し、SGDA(および学習率構成)で訓練された同じネットワークはモード崩壊に悩まされていることを証明している。
  論文  参考訳（メタデータ） (2022-10-09T19:00:07Z)
• A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning [0.6526824510982802]
  適応勾配法はディープニューラルネットワークの最適化に人気がある。 最近の例にはAdaGradとAdamがある。 我々は適応的勾配法のための汎用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-06-04T17:55:33Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Adam revisited: a weighted past gradients perspective [57.54752290924522]
  本稿では,非収束問題に取り組むための適応法重み付け適応アルゴリズム(wada)を提案する。 私たちは、WADAが重み付きデータ依存の後悔境界を達成できることを証明します。
  論文  参考訳（メタデータ） (2021-01-01T14:01:52Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)
• ClipUp: A Simple and Powerful Optimizer for Distribution-based Policy Evolution [2.2731500742482305]
  ClipUpは、その動作原理がシンプルで理解しやすいため、分散ベースのポリシー進化にとってより良い選択である、と私たちは主張する。 実験によると、ClipUpは単純さにもかかわらずAdamと競合しており、継続的な制御ベンチマークに挑戦する上で有効である。
  論文  参考訳（メタデータ） (2020-08-05T22:46:23Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)
• LASG: Lazily Aggregated Stochastic Gradients for Communication-Efficient Distributed Learning [47.93365664380274]
  本稿では,フェデレーション学習などの分散機械学習問題を,コミュニケーション効率のよい方法で解くことを目的とする。 新しい勾配勾配勾配法 (SGD) のクラスが開発され、最近開発された遅延集約勾配法 (LAG) の一般化と見なすことができる。 LASGの重要なコンポーネントは、ダウンロード、アップロード、あるいは両方を保存できるグラデーション用に調整された新しいルールのセットである。
  論文  参考訳（メタデータ） (2020-02-26T08:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。