論文の概要: Decentralized Local Stochastic Extra-Gradient for Variational Inequalities

• arxiv url: http://arxiv.org/abs/2106.08315v3
• Date: Sun, 2 Apr 2023 10:30:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 02:01:03.657003
• Title: Decentralized Local Stochastic Extra-Gradient for Variational Inequalities
• Title（参考訳）: 変分不等式に対する分散局所確率外勾配
• Authors: Aleksandr Beznosikov, Pavel Dvurechensky, Anastasia Koloskova, Valentin Samokhin, Sebastian U Stich, Alexander Gasnikov
• Abstract要約: 我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
• 参考スコア（独自算出の注目度）: 125.62877849447729
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider distributed stochastic variational inequalities (VIs) on unbounded domains with the problem data that is heterogeneous (non-IID) and distributed across many devices. We make a very general assumption on the computational network that, in particular, covers the settings of fully decentralized calculations with time-varying networks and centralized topologies commonly used in Federated Learning. Moreover, multiple local updates on the workers can be made for reducing the communication frequency between the workers. We extend the stochastic extragradient method to this very general setting and theoretically analyze its convergence rate in the strongly-monotone, monotone, and non-monotone (when a Minty solution exists) settings. The provided rates explicitly exhibit the dependence on network characteristics (e.g., mixing time), iteration counter, data heterogeneity, variance, number of devices, and other standard parameters. As a special case, our method and analysis apply to distributed stochastic saddle-point problems (SPP), e.g., to the training of Deep Generative Adversarial Networks (GANs) for which decentralized training has been reported to be extremely challenging. In experiments for the decentralized training of GANs we demonstrate the effectiveness of our proposed approach.
• Abstract（参考訳）: 我々は、不均一(非IID)で多くのデバイスに分散する問題データを用いて、非有界領域上の確率的変動不等式(VIs)を分散的に検討する。 計算ネットワークにおいて、特に、時間変動ネットワークと連合学習でよく使われる集中型トポロジを用いた、完全に分散した計算の設定をカバーすることを、非常に一般的な前提とします。 また、作業者間の通信頻度を低減させるため、作業者に対する複数のローカル更新を行うことができる。 確率的超勾配法をこの非常に一般的な設定に拡張し、理論上は強単調、単調、非単調(ミント溶液が存在する場合)の収束率を理論的に解析する。 提供されたレートは、ネットワーク特性(例えば混合時間)、反復カウンタ、データの不均一性、分散、デバイス数、その他の標準パラメータへの依存を明示的に示す。 特例として,分散確率的鞍点問題 (spp) に対して,分散化訓練が極めて困難であると報告された深層生成逆境ネットワーク (gans) の訓練を応用し,解析を行った。 GANの分散学習実験では,提案手法の有効性を実証する。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Averaging Rate Scheduler for Decentralized Learning on Heterogeneous Data [7.573297026523597]
  最先端の分散学習アルゴリズムは、通常、データ分散を独立的かつ特定的分散(IID)でなければならない。 本稿では,分散学習における異種性の影響を低減するための,単純かつ効果的な手法として平均化率スケジューリングを提案する。
  論文  参考訳（メタデータ） (2024-03-05T19:47:51Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Optimal Algorithms for Decentralized Stochastic Variational Inequalities [113.43047601775453]
  この作業は、ますます重要になるが十分に理解されていない分散的な設定に集中する。 通信と局所的な繰り返しの両方の下位境界を示し、これらの下位境界に一致する最適なアルゴリズムを構築する。 我々のアルゴリズムは、分散化されたケースだけでなく、決定論的で非分散的な文献でも利用できる。
  論文  参考訳（メタデータ） (2022-02-06T13:14:02Z)
• Finite-Time Convergence Rates of Decentralized Stochastic Approximation with Applications in Multi-Agent and Multi-Task Learning [16.09467599829253]
  本研究では, 雑音測定により, 演算子の根元を求めるためのデータ駆動手法について検討する。 エージェントのネットワークは、それぞれ独自の演算子とデータ観測を持ち、分散化された通信グラフ上で集約演算子の固定点を協調的に見つける。 我々の主な貢献は、各エージェントで観測されたデータがマルコフ過程からサンプリングされるとき、この分散近似法を有限時間で解析することである。
  論文  参考訳（メタデータ） (2020-10-28T17:01:54Z)
• Generalization Error for Linear Regression under Distributed Learning [0.0]
  未知のノードがノードネットワーク上に分散されている設定について検討する。 本稿では,ノード上の未知のノードの分割に対する一般化誤差の依存性の解析的特徴について述べる。
  論文  参考訳（メタデータ） (2020-04-30T08:49:46Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。