論文の概要: Adaptive Compression for Communication-Efficient Distributed Training
- arxiv url: http://arxiv.org/abs/2211.00188v1
- Date: Mon, 31 Oct 2022 23:09:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 15:13:09.446350
- Title: Adaptive Compression for Communication-Efficient Distributed Training
- Title（参考訳）: コミュニケーション効率の良い分散トレーニングのための適応圧縮
- Authors: Maksim Makarenko, Elnur Gasanov, Rustem Islamov, Abdurakhmon Sadiev,
Peter Richtarik
- Abstract要約: 適応圧縮レベルを持つ教師付き機械学習モデルの通信訓練のための新しいアルゴリズムを提案する。
我々のアプローチはRichtarikらの最近提案した3点圧縮機(3PC)にインスパイアされている。
3PCフレームワークを双方向圧縮に拡張する。
- 参考スコア（独自算出の注目度）: 3.1148846501645084
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose Adaptive Compressed Gradient Descent (AdaCGD) - a novel
optimization algorithm for communication-efficient training of supervised
machine learning models with adaptive compression level. Our approach is
inspired by the recently proposed three point compressor (3PC) framework of
Richtarik et al. (2022), which includes error feedback (EF21), lazily
aggregated gradient (LAG), and their combination as special cases, and offers
the current state-of-the-art rates for these methods under weak assumptions.
While the above mechanisms offer a fixed compression level, or adapt between
two extremes only, our proposal is to perform a much finer adaptation. In
particular, we allow the user to choose any number of arbitrarily chosen
contractive compression mechanisms, such as Top-K sparsification with a
user-defined selection of sparsification levels K, or quantization with a
user-defined selection of quantization levels, or their combination. AdaCGD
chooses the appropriate compressor and compression level adaptively during the
optimization process. Besides i) proposing a theoretically-grounded
multi-adaptive communication compression mechanism, we further ii) extend the
3PC framework to bidirectional compression, i.e., we allow the server to
compress as well, and iii) provide sharp convergence bounds in the strongly
convex, convex and nonconvex settings. The convex regime results are new even
for several key special cases of our general mechanism, including 3PC and EF21.
In all regimes, our rates are superior compared to all existing adaptive
compression methods.
- Abstract（参考訳）: 適応圧縮勾配降下法(adacgd) - 適応圧縮レベルを有する教師付き機械学習モデルの通信効率の高い学習のための新しい最適化アルゴリズムを提案する。
我々のアプローチはRichtarikらの最近提案した3点圧縮機(3PC)フレームワーク(2022)にインスピレーションを得ており、エラーフィードバック(EF21)、遅延集約勾配(LAG)、およびそれらの組み合わせを特別なケースとして含み、これらの手法の現状を弱い仮定で提供する。
上記のメカニズムは、固定圧縮レベルまたは2つの極端値のみに適応するが、より細かい適応を行うことが提案されている。
特に,ユーザが任意の数の任意に選択した契約圧縮機構,例えば,ユーザ定義のスパーシフィケーションレベルkの選定によるトップkスパーシフィケーション,ユーザ定義の量子化レベルの選択による量子化,あるいはそれらの組み合わせを選択できる。
adacgdは最適化過程で適切な圧縮機と圧縮レベルを適応的に選択する。
それに
一 理論的に接地した多適応通信圧縮機構の提案、更に
ii) 3pc フレームワークを双方向圧縮に拡張すること,すなわち,サーバの圧縮も可能にすること,
三 強凸、凸及び非凸の設定における鋭い収束境界を提供する。
3PC や EF21 など,我々の一般的なメカニズムのいくつかの重要な特別なケースにおいても,凸法の結果は新しいものである。
全てのレジームにおいて、我々のレートは既存の適応圧縮法よりも優れている。
関連論文リスト
- Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。
FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
論文 参考訳（メタデータ） (2024-10-10T15:13:08Z) - Communication-Efficient Distributed Learning with Local Immediate Error
Compensation [95.6828475028581]
本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。
LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
論文 参考訳（メタデータ） (2024-02-19T05:59:09Z) - Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。
置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。
本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
論文 参考訳（メタデータ） (2024-02-09T13:58:33Z) - Lower Bounds and Accelerated Algorithms in Distributed Stochastic
Optimization with Communication Compression [31.107056382542417]
通信圧縮は通信オーバーヘッドを軽減するための重要な戦略である。
軽度条件下での圧縮のほぼ最適アルゴリズムであるNEOLITHICを提案する。
論文 参考訳（メタデータ） (2023-05-12T17:02:43Z) - Learning Accurate Performance Predictors for Ultrafast Automated Model
Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。
本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文 参考訳（メタデータ） (2023-04-13T10:52:49Z) - Towards Optimal Compression: Joint Pruning and Quantization [1.191194620421783]
本稿では,FITCompressについて紹介する。FITCompressは層単位での混合精度の量子化と非構造化プルーニングを組み合わせた新しい手法である。
コンピュータビジョンと自然言語処理ベンチマークの実験により,提案手法が優れた圧縮性能のトレードオフを実現することを示す。
論文 参考訳（メタデータ） (2023-02-15T12:02:30Z) - Distributed Newton-Type Methods with Communication Compression and
Bernoulli Aggregation [11.870393751095083]
曲率情報に対する同調圧縮と集約機構について検討する。
適応しきい値処理やベルヌーイ集約といった新しい3PC機構は、通信の低減と時折ヘッセン計算を必要とする。
全ての方法について、高速条件数非依存の局所線型および/または超線型収束率を導出する。
論文 参考訳（メタデータ） (2022-06-07T21:12:21Z) - 3PC: Three Point Compressors for Communication-Efficient Distributed
Training and a Better Theory for Lazy Aggregation [12.013162443721312]
本稿では,コミュニケーション効率向上のための新しい勾配通信機構を提案する。
提案手法は,最近提案されたエラーフィードバック機構EF21を復元できることを示す。
遅延アグリゲーションとエラーフィードバックの文献の間には,新たな基本的リンクが提供される。
論文 参考訳（メタデータ） (2022-02-02T12:34:18Z) - Remote Multilinear Compressive Learning with Adaptive Compression [107.87219371697063]
MultiIoT Compressive Learning (MCL)は、多次元信号に対する効率的な信号取得および学習パラダイムである。
MCLモデルにそのような機能を実現するための新しい最適化手法を提案する。
論文 参考訳（メタデータ） (2021-09-02T19:24:03Z) - Innovation Compression for Communication-efficient Distributed
Optimization with Linear Convergence [23.849813231750932]
本稿では,強い凸最適化問題を解決するために,通信効率のよい線形収束分散(COLD)アルゴリズムを提案する。
イノベーションベクターを圧縮することで、COLDは$delta$-contractedコンプレッサーのクラスに対して線形収束を達成できます。
数値実験は、異なる圧縮機の下で両方のアルゴリズムの利点を実証する。
論文 参考訳（メタデータ） (2021-05-14T08:15:18Z) - GAN Slimming: All-in-One GAN Compression by A Unified Optimization
Framework [94.26938614206689]
本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。
我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
論文 参考訳（メタデータ） (2020-08-25T14:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。