論文の概要: Compression and Data Similarity: Combination of Two Techniques for Communication-Efficient Solving of Distributed Variational Inequalities

• arxiv url: http://arxiv.org/abs/2206.09446v1
• Date: Sun, 19 Jun 2022 16:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 19:59:12.107863
• Title: Compression and Data Similarity: Combination of Two Techniques for Communication-Efficient Solving of Distributed Variational Inequalities
• Title（参考訳）: 圧縮とデータ類似性:分散変分不等式のコミュニケーション効率向上のための2つの手法の組み合わせ
• Authors: Aleksandr Beznosikov, Alexander Gasnikov
• Abstract要約: 本稿では、圧縮とデータ類似性という2つの一般的なアプローチの組み合わせについて考察する。 この相乗効果は, 分散分散単調変分不等式の解法において, それぞれ別々に行う方法よりも効果的であることを示す。
• 参考スコア（独自算出の注目度）: 137.6408511310322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational inequalities are an important tool, which includes minimization, saddles, games, fixed-point problems. Modern large-scale and computationally expensive practical applications make distributed methods for solving these problems popular. Meanwhile, most distributed systems have a basic problem - a communication bottleneck. There are various techniques to deal with it. In particular, in this paper we consider a combination of two popular approaches: compression and data similarity. We show that this synergy can be more effective than each of the approaches separately in solving distributed smooth strongly monotonic variational inequalities. Experiments confirm the theoretical conclusions.
• Abstract（参考訳）: 変分不等式は、最小化、サドル、ゲーム、固定点問題を含む重要なツールである。 現代の大規模で計算に費用がかかる実践的応用は、これらの問題を解くための分散手法を普及させる。 一方、ほとんどの分散システムには基本的な問題があります。 それに対処する技法は様々である。 特に,本論文では圧縮とデータ類似性という2つの一般的なアプローチの組み合わせについて検討する。 この相乗効果は, 分散平滑な強単調変分不等式を別々に解く場合, それぞれのアプローチよりも効果的であることを示す。 実験は理論的な結論を裏付ける。

関連論文リスト

• Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
  分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。 本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。 プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
  論文  参考訳（メタデータ） (2024-09-22T00:49:10Z)
• Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities [91.12425544503395]
  変分不等式は平衡探索から逆学習まで様々な応用で用いられている。 ほとんどの分散アプローチには、通信コストというボトルネックがあります。 通信ラウンドの総数と1ラウンドのコストを削減する3つの主要な手法は、ローカル関数の類似性、送信された情報の圧縮、ローカル更新である。 本稿では,通信複雑性の理論的保証が最良であり,分散変動不等式に対する他の手法よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-15T12:11:27Z)
• SARAH-based Variance-reduced Algorithm for Stochastic Finite-sum Cocoercive Variational Inequalities [137.6408511310322]
  有限サムコヒーレンシブ変分不等式の問題を考える。 強い単調な問題に対しては、この方法を用いて解への線形収束を達成することができる。
  論文  参考訳（メタデータ） (2022-10-12T08:04:48Z)
• Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
  本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。 新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
  論文  参考訳（メタデータ） (2021-10-07T10:04:32Z)
• Joint Wasserstein Distribution Matching [89.86721884036021]
  JDM問題(Joint Distribution matching)は、2つのドメインの関節分布を一致させるために双方向マッピングを学習することを目的としており、多くの機械学習およびコンピュータビジョンアプリケーションで発生している。 2つの領域における関節分布のワッサーシュタイン距離を最小化することにより、JDM問題に対処することを提案する。 そこで我々は,難解な問題を簡単な最適化問題に還元する重要な定理を提案し,その解法を開発した。
  論文  参考訳（メタデータ） (2020-03-01T03:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。