論文の概要: Decentralized Local Stochastic Extra-Gradient for Variational Inequalities

• arxiv url: http://arxiv.org/abs/2106.08315v1
• Date: Tue, 15 Jun 2021 17:45:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 14:53:34.958684
• Title: Decentralized Local Stochastic Extra-Gradient for Variational Inequalities
• Title（参考訳）: 変分不等式に対する分散局所確率外勾配
• Authors: Aleksandr Beznosikov, Pavel Dvurechensky, Anastasia Koloskova, Valentin Samokhin, Sebastian U Stich, Alexander Gasnikov
• Abstract要約: 問題データが多くのデバイスに分散している分散分散変分不等式について考察する。 本稿では,任意の時間変化のあるネットワークトポロジ上で,参加するデバイスが通信可能な,段階外に基づく新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 128.49714835689102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider decentralized stochastic variational inequalities where the problem data is distributed across many participating devices (heterogeneous, or non-IID data setting). We propose a novel method - based on stochastic extra-gradient - where participating devices can communicate over arbitrary, possibly time-varying network topologies. This covers both the fully decentralized optimization setting and the centralized topologies commonly used in Federated Learning. Our method further supports multiple local updates on the workers for reducing the communication frequency between workers. We theoretically analyze the proposed scheme in the strongly monotone, monotone and non-monotone setting. As a special case, our method and analysis apply in particular to decentralized stochastic min-max problems which are being studied with increased interest in Deep Learning. For example, the training objective of Generative Adversarial Networks (GANs) are typically saddle point problems and the decentralized training of GANs has been reported to be extremely challenging. While SOTA techniques rely on either repeated gossip rounds or proximal updates, we alleviate both of these requirements. Experimental results for decentralized GAN demonstrate the effectiveness of our proposed algorithm.
• Abstract（参考訳）: 問題データを多数のデバイス(異種、非IIDデータ設定)に分散する分散確率的変動不等式について考察する。 そこで本稿では,ネットワークトポロジ上で任意の通信を行うことのできる,確率的超勾配に基づく新しい手法を提案する。 これは完全な分散最適化設定と、連合学習で一般的に使用される集中型トポロジの両方をカバーする。 さらに,作業者間の通信頻度を低減するために,複数のローカル更新をサポートする。 提案手法を,強い単調,単調,非単調で理論的に解析する。 特に,本手法と解析は,Deep Learning への関心を高めつつ研究されている分散確率的 min-max 問題に適用される。 例えば、GAN(Generative Adversarial Networks)のトレーニング目標は通常、サドルポイントの問題であり、GANの分散トレーニングは非常に難しいと報告されている。 SOTA技術は繰り返し発生するゴシップラウンドや近位更新に依存するが、これらの要件を緩和する。 分散GAN実験の結果,提案アルゴリズムの有効性が示された。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Averaging Rate Scheduler for Decentralized Learning on Heterogeneous Data [7.573297026523597]
  最先端の分散学習アルゴリズムは、通常、データ分散を独立的かつ特定的分散(IID)でなければならない。 本稿では,分散学習における異種性の影響を低減するための,単純かつ効果的な手法として平均化率スケジューリングを提案する。
  論文  参考訳（メタデータ） (2024-03-05T19:47:51Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Optimal Algorithms for Decentralized Stochastic Variational Inequalities [113.43047601775453]
  この作業は、ますます重要になるが十分に理解されていない分散的な設定に集中する。 通信と局所的な繰り返しの両方の下位境界を示し、これらの下位境界に一致する最適なアルゴリズムを構築する。 我々のアルゴリズムは、分散化されたケースだけでなく、決定論的で非分散的な文献でも利用できる。
  論文  参考訳（メタデータ） (2022-02-06T13:14:02Z)
• Finite-Time Convergence Rates of Decentralized Stochastic Approximation with Applications in Multi-Agent and Multi-Task Learning [16.09467599829253]
  本研究では, 雑音測定により, 演算子の根元を求めるためのデータ駆動手法について検討する。 エージェントのネットワークは、それぞれ独自の演算子とデータ観測を持ち、分散化された通信グラフ上で集約演算子の固定点を協調的に見つける。 我々の主な貢献は、各エージェントで観測されたデータがマルコフ過程からサンプリングされるとき、この分散近似法を有限時間で解析することである。
  論文  参考訳（メタデータ） (2020-10-28T17:01:54Z)
• Generalization Error for Linear Regression under Distributed Learning [0.0]
  未知のノードがノードネットワーク上に分散されている設定について検討する。 本稿では,ノード上の未知のノードの分割に対する一般化誤差の依存性の解析的特徴について述べる。
  論文  参考訳（メタデータ） (2020-04-30T08:49:46Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。