論文の概要: Problem-dependent convergence bounds for randomized linear gradient compression

• arxiv url: http://arxiv.org/abs/2411.12898v1
• Date: Tue, 19 Nov 2024 22:26:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:11:46.013705
• Title: Problem-dependent convergence bounds for randomized linear gradient compression
• Title（参考訳）: ランダム化線形勾配圧縮のための問題依存収束境界
• Authors: Thomas Flynn, Patrick Johnstone, Shinjae Yoo,
• Abstract要約: 分散最適化では、通信モデルの更新がパフォーマンスのボトルネックになる可能性がある。 最適化向上の手段として勾配圧縮法が提案されている。 我々は, 圧縮がスループットに与える影響を, ヘッセン目標のノルムの観点から検討する。
• 参考スコア（独自算出の注目度）: 4.656302602746228
• License:
• Abstract: In distributed optimization, the communication of model updates can be a performance bottleneck. Consequently, gradient compression has been proposed as a means of increasing optimization throughput. In general, due to information loss, compression introduces a penalty on the number of iterations needed to reach a solution. In this work, we investigate how the iteration penalty depends on the interaction between compression and problem structure, in the context of non-convex stochastic optimization. We focus on linear compression schemes, where compression and decompression can be modeled as multiplication with a random matrix. We consider several distributions of matrices, among them random orthogonal matrices and matrices with random Gaussian entries. We find that in each case, the impact of compression on convergence can be quantified in terms of the norm of the Hessian of the objective, using a norm defined by the compression scheme. The analysis reveals that in certain cases, compression performance is related to low-rank structure or other spectral properties of the problem. In these cases, our bounds predict that the penalty introduced by compression is significantly reduced compared to worst-case bounds that only consider the compression level, ignoring problem data. We verify the theoretical findings on several optimization problems, including fine-tuning an image classification model.
• Abstract（参考訳）: 分散最適化では、モデル更新の通信がパフォーマンスのボトルネックになる可能性がある。 その結果,最適化スループットを向上させる手段として勾配圧縮法が提案されている。 一般に、情報損失のため、圧縮はソリューションに到達するのに必要なイテレーションの数にペナルティをもたらす。 本研究では,非凸確率最適化の文脈において,繰り返しペナルティが圧縮と問題構造間の相互作用にどのように依存するかを検討する。 圧縮と減圧をランダム行列による乗算としてモデル化できる線形圧縮スキームに着目する。 ランダム直交行列やランダムなガウス成分を持つ行列など、行列の分布について考察する。 それぞれの場合において、圧縮スキームによって定義されたノルムを用いて、圧縮が収束に与える影響を目的のヘッセンのノルムの観点から定量化することができる。 解析の結果,圧縮性能が低ランク構造やスペクトル特性に関係していることが判明した。 これらの場合、圧縮によって生じるペナルティは、圧縮レベルのみを考慮した最悪のケース境界よりも大幅に減少し、問題データを無視していると予測する。 画像分類モデルの微調整など,いくつかの最適化問題に関する理論的知見を検証する。

関連論文リスト

• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Compression with Exact Error Distribution for Federated Learning [33.74795273515338]
  正確な誤差分布を達成するための層状量子化器に基づいて,異なるアグリゲーション方式を提案し,解析する。 提案手法を応用して,差分プライバシアプリケーションにおける圧縮自由化を実現する。
  論文  参考訳（メタデータ） (2023-10-31T17:48:22Z)
• Shifted Compression Framework: Generalizations and Improvements [2.2147691173934967]
  コミュニケーションは、大規模な機械学習モデルの分散トレーニングにおける重要なボトルネックの1つだ。 勾配やモデルのような交換された情報のロッシー圧縮は、この問題を緩和する最も効果的な手段の1つである。
  論文  参考訳（メタデータ） (2022-06-21T15:00:04Z)
• EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
  分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T10:44:23Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence [23.849813231750932]
  本稿では,強い凸最適化問題を解決するために,通信効率のよい線形収束分散(COLD)アルゴリズムを提案する。 イノベーションベクターを圧縮することで、COLDは$delta$-contractedコンプレッサーのクラスに対して線形収束を達成できます。 数値実験は、異なる圧縮機の下で両方のアルゴリズムの利点を実証する。
  論文  参考訳（メタデータ） (2021-05-14T08:15:18Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。