論文の概要: Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees

• arxiv url: http://arxiv.org/abs/2110.03313v3
• Date: Sun, 2 Apr 2023 11:02:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 01:51:29.107903
• Title: Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees
• Title（参考訳）: 理論保証付き変分不等式解のための圧縮通信を用いた分散手法
• Authors: Aleksandr Beznosikov and Peter Richt\'arik and Michael Diskin and Max Ryabinin and Alexander Gasnikov
• Abstract要約: 本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。 新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
• 参考スコア（独自算出の注目度）: 115.08148491584997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational inequalities in general and saddle point problems in particular are increasingly relevant in machine learning applications, including adversarial learning, GANs, transport and robust optimization. With increasing data and problem sizes necessary to train high performing models across various applications, we need to rely on parallel and distributed computing. However, in distributed training, communication among the compute nodes is a key bottleneck during training, and this problem is exacerbated for high dimensional and over-parameterized models. Due to these considerations, it is important to equip existing methods with strategies that would allow to reduce the volume of transmitted information during training while obtaining a model of comparable quality. In this paper, we present the first theoretically grounded distributed methods for solving variational inequalities and saddle point problems using compressed communication: MASHA1 and MASHA2. Our theory and methods allow for the use of both unbiased (such as Rand$k$; MASHA1) and contractive (such as Top$k$; MASHA2) compressors. New algorithms support bidirectional compressions, and also can be modified for stochastic setting with batches and for federated learning with partial participation of clients. We empirically validated our conclusions using two experimental setups: a standard bilinear min-max problem, and large-scale distributed adversarial training of transformers.
• Abstract（参考訳）: 一般およびサドル点問題における変分不等式は、敵対的学習、GAN、輸送、堅牢な最適化を含む機械学習アプリケーションにおいて、ますます重要になっている。 さまざまなアプリケーションにわたるハイパフォーマンスモデルのトレーニングに必要なデータと問題サイズの増加により、並列および分散コンピューティングに頼る必要があります。 しかし、分散トレーニングでは、計算ノード間の通信がトレーニングの重要なボトルネックとなり、高次元および過度パラメータ化モデルではこの問題が悪化する。 これらの考慮から,既存の手法に同等の品質のモデルを取得しながら,訓練中の伝達情報の量を削減する戦略を組み込むことが重要である。 本稿では,MASHA1とMASHA2の圧縮通信を用いた変分不等式とサドル点問題の解法として,初めて理論的に基礎付けられた分散手法を提案する。 我々の理論と手法は、非バイアス(Rand$k$, MASHA1)と契約的(Top$k$, MASHA2)圧縮機の両方の使用を可能にする。 新しいアルゴリズムは双方向圧縮をサポートし、バッチによる確率的な設定や、クライアントの部分的な参加を伴う連合学習にも変更できる。 両線形最小値問題と変圧器の大規模分散対角訓練の2つの実験装置を用いて,実験結果の検証を行った。

関連論文リスト

• Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
  分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。 本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。 プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
  論文  参考訳（メタデータ） (2024-09-22T00:49:10Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities [91.12425544503395]
  変分不等式は平衡探索から逆学習まで様々な応用で用いられている。 ほとんどの分散アプローチには、通信コストというボトルネックがあります。 通信ラウンドの総数と1ラウンドのコストを削減する3つの主要な手法は、ローカル関数の類似性、送信された情報の圧縮、ローカル更新である。 本稿では,通信複雑性の理論的保証が最良であり,分散変動不等式に対する他の手法よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-15T12:11:27Z)
• Compression and Data Similarity: Combination of Two Techniques for Communication-Efficient Solving of Distributed Variational Inequalities [137.6408511310322]
  本稿では、圧縮とデータ類似性という2つの一般的なアプローチの組み合わせについて考察する。 この相乗効果は, 分散分散単調変分不等式の解法において, それぞれ別々に行う方法よりも効果的であることを示す。
  論文  参考訳（メタデータ） (2022-06-19T16:38:56Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Gradient tracking and variance reduction for decentralized optimization and machine learning [19.54092620537586]
  有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。 分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-02-13T07:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。