論文の概要: Correlated Quantization for Faster Nonconvex Distributed Optimization

• arxiv url: http://arxiv.org/abs/2401.05518v1
• Date: Wed, 10 Jan 2024 19:29:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-13 02:07:35.554710
• Title: Correlated Quantization for Faster Nonconvex Distributed Optimization
• Title（参考訳）: 高速非凸分散最適化のための相関量子化
• Authors: Andrei Panferov, Yury Demidovich, Ahmad Rammal, Peter Richt\'arik
• Abstract要約: 量子化 (starAli et al., 2017) は、各通信ラウンドにおける伝送ビットの体積を減少させる重要な(確率的な)圧縮技術である。 我々は、事前分散非最適化アルゴリズムMARINA(Gbunov et al., 2022)を解析する。 我々は、MARINAの理論的枠組みを拡張して、潜在的に相関のある圧縮機をかなり幅広い範囲に展開する。
• 参考スコア（独自算出の注目度）: 1.2744523252873352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization (Alistarh et al., 2017) is an important (stochastic) compression technique that reduces the volume of transmitted bits during each communication round in distributed model training. Suresh et al. (2022) introduce correlated quantizers and show their advantages over independent counterparts by analyzing distributed SGD communication complexity. We analyze the forefront distributed non-convex optimization algorithm MARINA (Gorbunov et al., 2022) utilizing the proposed correlated quantizers and show that it outperforms the original MARINA and distributed SGD of Suresh et al. (2022) with regard to the communication complexity. We significantly refine the original analysis of MARINA without any additional assumptions using the weighted Hessian variance (Tyurin et al., 2022), and then we expand the theoretical framework of MARINA to accommodate a substantially broader range of potentially correlated and biased compressors, thus dilating the applicability of the method beyond the conventional independent unbiased compressor setup. Extensive experimental results corroborate our theoretical findings.
• Abstract（参考訳）: 量子化 (alistarh et al., 2017) は、分散モデルトレーニングにおける各通信ラウンドの送信ビット数を削減する重要な(統計的)圧縮技術である。 suresh et al. (2022) は相関量子化器を導入し、分散sgd通信の複雑さを分析することで、独立なそれに対する利点を示す。 我々は,提案した相関量化器を用いて,前部分散非凸最適化アルゴリズムであるMARINA(Gorbunov et al., 2022)を分析し,通信複雑性に関して,元のMARINAおよび分散SGDよりも優れていることを示す。 重み付きヘッセン分散(チューリン等、2022年)を用いた仮定を使わずに、MariNAの原解析を著しく洗練し、さらに、MARINAの理論的枠組みを拡張して、潜在的に相関し、偏りのある圧縮機のかなり広い範囲に適応し、従来の独立な非偏り圧縮機の構成を超えた適用性を拡張した。 広範囲な実験結果が理論的な結果を裏付ける。

関連論文リスト

• Theoretical Convergence Guarantees for Variational Autoencoders [2.8167997311962942]
  変分オートエンコーダ(VAE)は、複雑なデータ分布からサンプリングするために使われる一般的な生成モデルである。 本稿では, グラディエントDescentアルゴリズムとAdamアルゴリズムの両方を用いてトレーニングしたVAEに対して, 非漸近収束保証を提供することにより, このギャップを埋めることを目的とする。 我々の理論的分析は、Linear VAEとDeep Gaussian VAEの両方、および$beta$-VAEやIWAEを含むいくつかのVAEの変種に適用できる。
  論文  参考訳（メタデータ） (2024-10-22T07:12:38Z)
• An Improved Analysis of Langevin Algorithms with Prior Diffusion for Non-Log-Concave Sampling [27.882407333690267]
  本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。 また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
  論文  参考訳（メタデータ） (2024-03-10T11:50:34Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Score-Based Diffusion meets Annealed Importance Sampling [89.92133671626327]
  Annealed Importance Smpling はいまだに限界推定の最も効果的な方法の1つである。 我々は、スコアベース生成モデルにおける最近の進歩を活用し、AIS提案の最適拡張目標分布を近似する。
  論文  参考訳（メタデータ） (2022-08-16T12:13:29Z)
• Distributed Methods with Absolute Compression and Error Compensation [1.52292571922932]
  コミュニケーション圧縮はこの問題を緩和するための強力なアプローチである。 本稿では,任意のサンプリング戦略に対する絶対圧縮によるEC-SGDの解析を一般化する。 この設定では、以前知られていたものよりも私たちのレートが向上します。
  論文  参考訳（メタデータ） (2022-03-04T15:41:14Z)
• Heavy-tailed denoising score matching [5.371337604556311]
  ランゲヴィン力学における複数のノイズレベルを連続的に初期化する反復的雑音スケーリングアルゴリズムを開発した。 実用面では、重み付きDSMを用いることで、スコア推定、制御可能なサンプリング収束、不均衡データセットに対するよりバランスのない非条件生成性能が改善される。
  論文  参考訳（メタデータ） (2021-12-17T22:04:55Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。