論文の概要: IntSGD: Floatless Compression of Stochastic Gradients

• arxiv url: http://arxiv.org/abs/2102.08374v1
• Date: Tue, 16 Feb 2021 18:58:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 15:10:23.316708
• Title: IntSGD: Floatless Compression of Stochastic Gradients
• Title（参考訳）: IntSGD:確率勾配のフロートレス圧縮
• Authors: Konstantin Mishchenko and Bokun Wang and Dmitry Kovalev and Peter Richt\'arik
• Abstract要約: 本研究では,1つのフロートを乗算して通信しないグラディエントDescent (SGD) に対する損失整数圧縮のファミリを提案する。 データが著しく異質である場合には、整数を保ち続けることがますます難しくなり、このタイプの問題を解決するための代替アルゴリズムであるIntyAを提案する。
• 参考スコア（独自算出の注目度）: 19.99615698375829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a family of lossy integer compressions for Stochastic Gradient Descent (SGD) that do not communicate a single float. This is achieved by multiplying floating-point vectors with a number known to every device and then rounding to an integer number. Our theory shows that the iteration complexity of SGD does not change up to constant factors when the vectors are scaled properly. Moreover, this holds for both convex and non-convex functions, with and without overparameterization. In contrast to other compression-based algorithms, ours preserves the convergence rate of SGD even on non-smooth problems. Finally, we show that when the data is significantly heterogeneous, it may become increasingly hard to keep the integers bounded and propose an alternative algorithm, IntDIANA, to solve this type of problems.
• Abstract（参考訳）: 本研究では,SGD(Stochastic Gradient Descent)に対して,単一フロートを通信しない不整数圧縮のファミリを提案する。 これは浮動小数点ベクトルを各デバイスに知られている数に乗じて整数数に丸めることで達成される。 本理論では,sgdの反復複雑性は,ベクトルを適切にスケールする場合に一定因子まで変化しないことを示す。 さらに、これはオーバーパラメータなしで、凸関数と非凸関数の両方に対して成り立つ。 他の圧縮アルゴリズムとは対照的に、非滑らかな問題でもSGDの収束速度を保ちます。 最後に、データが著しく不均一である場合、整数を有界に保つことがますます難しくなり、このタイプの問題を解決するために別のアルゴリズムであるintdianaを提案する。

関連論文リスト

• Demystifying the Myths and Legends of Nonconvex Convergence of SGD [17.445810977264067]
  勾配勾配勾配(SGD)とその変種は、大規模最適化問題の解法の主要な仕事場である。 分析として,勾配の非収束に関連する神話や伝説について考察した。
  論文  参考訳（メタデータ） (2023-10-19T17:58:59Z)
• On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
  機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。 本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2023-05-30T17:47:27Z)
• Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization [49.58290066287418]
  構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。 本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
  論文  参考訳（メタデータ） (2022-07-18T12:03:26Z)
• On the Convergence to a Global Solution of Shuffling-Type Gradient Algorithms [18.663264755108703]
  勾配降下アルゴリズム (SGD) は、多くの機械学習タスクにおいて選択の方法である。 本稿では,SGDが凸設定として望まれる計算一般複雑性を達成したことを示す。
  論文  参考訳（メタデータ） (2022-06-13T01:25:59Z)
• On the Convergence of mSGD and AdaGrad for Stochastic Optimization [0.696125353550498]
  凸降下(SGD)は、過去10年間に機械学習に大きく開発され、広く応用されてきた。 モーメントベースのSGD(mSGD)や適応的勾配最適化(AdaGrad)など、多くの競合や応用においてSGDよりも優れている修正SGD型アルゴリズムもある。 我々は,機械学習における任意の滑らかな(不可能かもしれない)損失関数に対するmSGDとAdaGradの収束解析に着目する。
  論文  参考訳（メタデータ） (2022-01-26T22:02:21Z)
• Random Shuffling Beats SGD Only After Many Epochs on Ill-Conditioned Problems [55.40911408462676]
  その結果,非置換型SGDエンファンドは最悪のケース境界において,非置換型SGDに対して顕著な改善は得られなかった。 機械学習や他の分野の多くの問題は条件が不適切であり、大きなデータセットが関与しているため、非置換が現実的な予算のための非置換サンプリングよりも必ずしも改善しないことを示している。
  論文  参考訳（メタデータ） (2021-06-12T23:07:27Z)
• Hybrid Stochastic-Deterministic Minibatch Proximal Gradient: Less-Than-Single-Pass Optimization with Nearly Optimal Generalization [83.80460802169999]
  HSDMPGは、学習モデル上で過大なエラーの順序である$mathcalObig(1/sttnbig)$を達成可能であることを示す。 損失係数について、HSDMPGは学習モデル上で過大なエラーの順序である$mathcalObig(1/sttnbig)$を達成できることを示す。
  論文  参考訳（メタデータ） (2020-09-18T02:18:44Z)
• Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression [0.0]
  本稿では、収束保証付き非正則正規化器のためのワーキングセットアルゴリズムを提案する。 その結果,ブロックコーディネートや勾配ソルバの完全解法と比較して高い利得を示した。
  論文  参考訳（メタデータ） (2020-06-24T07:40:31Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。