論文の概要: Problem-dependent convergence bounds for randomized linear gradient compression
- arxiv url: http://arxiv.org/abs/2411.12898v3
- Date: Tue, 15 Jul 2025 21:13:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-17 14:40:09.177137
- Title: Problem-dependent convergence bounds for randomized linear gradient compression
- Title（参考訳）: ランダム化線形勾配圧縮のための問題依存収束境界
- Authors: Thomas Flynn, Patrick Johnstone, Shinjae Yoo,
- Abstract要約: 目的関数に関連する収束に対する圧縮の影響について検討する。
圧縮が収束に与える影響は, 目的関数に付随する量化行列で表すことができる。
- 参考スコア（独自算出の注目度）: 4.656302602746228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In distributed optimization, the communication of model updates can be a performance bottleneck. Consequently, gradient compression has been proposed as a means of increasing optimization throughput. In general, due to information loss, compression introduces a penalty on the number of iterations needed to reach a solution. In this work, we investigate how the iteration penalty depends on the interaction between compression and problem structure, in the context of non-convex stochastic optimization. We focus on linear schemes, where compression and decompression can be modeled as multiplication with a random matrix. We consider several distributions of matrices, among them Haar-distributed orthogonal matrices and matrices with random Gaussian entries. We find that the impact of compression on convergence can be quantified in terms of a smoothness matrix associated with the objective function, using a norm defined by the compression scheme. The analysis reveals that in certain cases, compression performance is related to low-rank structure or other spectral properties of the problem and our bounds predict that the penalty introduced by compression is significantly reduced compared to worst-case bounds that only consider the compression level, ignoring problem data. We verify the theoretical findings experimentally, including fine-tuning an image classification model.
- Abstract（参考訳）: 分散最適化では、モデル更新の通信がパフォーマンスのボトルネックになる可能性がある。
その結果,最適化スループットを向上させる手段として勾配圧縮法が提案されている。
一般に、情報損失のため、圧縮はソリューションに到達するのに必要なイテレーションの数にペナルティをもたらす。
本研究では,非凸確率最適化の文脈において,繰り返しペナルティが圧縮と問題構造間の相互作用にどのように依存するかを検討する。
圧縮と減圧をランダム行列による乗算としてモデル化できる線形スキームに着目する。
行列の分布について考察し,Haar分布の直交行列とランダムなガウス成分を持つ行列について考察する。
圧縮スキームによって定義されたノルムを用いて, 圧縮が収束に与える影響を, 目的関数に関連付けられた滑らか度行列を用いて定量化できることを見出した。
解析の結果、圧縮性能は低ランク構造や他のスペクトル特性と関係しており、圧縮によって生じるペナルティは、圧縮レベルのみを考慮した最悪のケース境界よりも大幅に減少し、問題データを無視していることが明らかとなった。
画像分類モデルの微調整を含む理論的知見を実験的に検証する。
関連論文リスト
- Unified Scaling Laws for Compressed Representations [69.72517034565467]
各種圧縮表現上でのトレーニングにおいて,統合スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。
我々の主な発見は、単純な「容量」計量が存在するという理論と経験の両方を実証することである。
我々は、圧縮されたフォーマットの精度を直接比較し、スパース量子化されたフォーマットのトレーニングのためのより良いアルゴリズムを導出するために、定式化を拡張した。
論文 参考訳（メタデータ） (2025-06-02T16:52:51Z) - Compression for Better: A General and Stable Lossless Compression Framework [7.356622397575378]
主な課題は、モデル損失を最小限に抑えるために圧縮エラーを効果的に活用することである。
一般的なtextbfLosstextbfLess textbfCompression理論フレームワーク(textbfLLC)を提案する。
量子化や分解など,様々な圧縮手法を適用する。
論文 参考訳（メタデータ） (2024-12-09T09:55:54Z) - Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。
平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
論文 参考訳（メタデータ） (2024-05-17T21:17:27Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Compression with Exact Error Distribution for Federated Learning [33.74795273515338]
正確な誤差分布を達成するための層状量子化器に基づいて,異なるアグリゲーション方式を提案し,解析する。
提案手法を応用して,差分プライバシアプリケーションにおける圧縮自由化を実現する。
論文 参考訳（メタデータ） (2023-10-31T17:48:22Z) - Shifted Compression Framework: Generalizations and Improvements [2.2147691173934967]
コミュニケーションは、大規模な機械学習モデルの分散トレーニングにおける重要なボトルネックの1つだ。
勾配やモデルのような交換された情報のロッシー圧縮は、この問題を緩和する最も効果的な手段の1つである。
論文 参考訳（メタデータ） (2022-06-21T15:00:04Z) - EF-BV: A Unified Theory of Error Feedback and Variance Reduction
Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。
圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。
本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-09T10:44:23Z) - Unified Multivariate Gaussian Mixture for Efficient Neural Image
Compression [151.3826781154146]
先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。
ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。
当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
論文 参考訳（メタデータ） (2022-03-21T11:44:17Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z) - Innovation Compression for Communication-efficient Distributed
Optimization with Linear Convergence [23.849813231750932]
本稿では,強い凸最適化問題を解決するために,通信効率のよい線形収束分散(COLD)アルゴリズムを提案する。
イノベーションベクターを圧縮することで、COLDは$delta$-contractedコンプレッサーのクラスに対して線形収束を達成できます。
数値実験は、異なる圧縮機の下で両方のアルゴリズムの利点を実証する。
論文 参考訳（メタデータ） (2021-05-14T08:15:18Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳（メタデータ） (2020-07-01T04:35:00Z) - On Biased Compression for Distributed Learning [55.89300593805943]
バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。
理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
論文 参考訳（メタデータ） (2020-02-27T19:52:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。