論文の概要: SARAH-based Variance-reduced Algorithm for Stochastic Finite-sum
Cocoercive Variational Inequalities
- arxiv url: http://arxiv.org/abs/2210.05994v1
- Date: Wed, 12 Oct 2022 08:04:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 15:58:41.280929
- Title: SARAH-based Variance-reduced Algorithm for Stochastic Finite-sum
Cocoercive Variational Inequalities
- Title(参考訳): SARAHに基づく確率的有限和共役変分不等式に対する変分推定アルゴリズム
- Authors: Aleksandr Beznosikov, Alexander Gasnikov
- Abstract要約: 有限サムコヒーレンシブ変分不等式の問題を考える。
強い単調な問題に対しては、この方法を用いて解への線形収束を達成することができる。
- 参考スコア(独自算出の注目度): 137.6408511310322
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational inequalities are a broad formalism that encompasses a vast number
of applications. Motivated by applications in machine learning and beyond,
stochastic methods are of great importance. In this paper we consider the
problem of stochastic finite-sum cocoercive variational inequalities. For this
class of problems, we investigate the convergence of the method based on the
SARAH variance reduction technique. We show that for strongly monotone problems
it is possible to achieve linear convergence to a solution using this method.
Experiments confirm the importance and practical applicability of our approach.
- Abstract(参考訳): 変分不等式は、多くの応用を含む広い形式主義である。
機械学習などの応用によって動機付けられた確率的手法は非常に重要である。
本稿では,確率的有限和共役変分不等式の問題を考える。
そこで本研究では,SARAH分散低減手法に基づく手法の収束性について検討する。
強単調問題に対しては,この手法を用いて解への線形収束を実現できることを示す。
実験により,本手法の重要性と実用性を確認した。
関連論文リスト
- Variational Annealing on Graphs for Combinatorial Optimization [7.378582040635655]
解変数間の統計的依存関係を捉える自己回帰的手法は,多くのCO問題に対して優れた性能を示すことを示す。
本稿では,一組の解変数の構成を単一トークンで表すサブグラフトークン化を提案する。
論文 参考訳(メタデータ) (2023-11-23T18:56:51Z) - First Order Methods with Markovian Noise: from Acceleration to
Variational Inequalities [114.69800889030142]
本稿では,一階変分法の理論解析のための統一的アプローチを提案する。
提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。
凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
論文 参考訳(メタデータ) (2023-05-25T11:11:31Z) - Distributed Stochastic Optimization under a General Variance Condition [13.911633636387059]
分散最適化は最近、大規模な機械学習問題の解決に効果があるとして、大きな注目を集めている。
我々は、古典的フェデレーション平均化(Avg)を再考し、滑らかな非対象関数に対して、緩やかな分散しか持たない収束結果を確立する。
ほぼ1つの定常収束点も勾配条件の下で成立する。
論文 参考訳(メタデータ) (2023-01-30T05:48:09Z) - Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。
我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。
提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-14T21:54:31Z) - Smooth Monotone Stochastic Variational Inequalities and Saddle Point
Problems: A Survey [119.11852898082967]
本稿では,スムーズなモノトン変量不等式を解くための手法について検討する。
まず最初に、メソッドが最終的に進化する基盤を与えます。
次に、一般定式化の方法を概観し、有限和設定を考察する。
論文 参考訳(メタデータ) (2022-08-29T13:39:30Z) - Compression and Data Similarity: Combination of Two Techniques for
Communication-Efficient Solving of Distributed Variational Inequalities [137.6408511310322]
本稿では、圧縮とデータ類似性という2つの一般的なアプローチの組み合わせについて考察する。
この相乗効果は, 分散分散単調変分不等式の解法において, それぞれ別々に行う方法よりも効果的であることを示す。
論文 参考訳(メタデータ) (2022-06-19T16:38:56Z) - Accelerating numerical methods by gradient-based meta-solving [15.90188271828615]
科学と工学の応用においては、しばしば同様の計算問題を何度も解くことが要求される。
我々はそれらを統一的に解くための勾配に基づくアルゴリズムを提案する。
理論的解析と数値実験により,本手法の性能と汎用性を実証する。
論文 参考訳(メタデータ) (2022-06-17T07:31:18Z) - Stochastic Gradient Methods with Preconditioned Updates [47.23741709751474]
このような問題に対するアルゴリズムはいくつかあるが、既存の手法は、スケールが悪く、あるいは条件が悪ければ、しばしばうまく機能しない。
ここではハッチンソンの対角ヘッセン近似のアプローチに基づく前提条件を含む。
我々は滑らかさとPL条件が仮定されるときの収束性を証明する。
論文 参考訳(メタデータ) (2022-06-01T07:38:08Z) - Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient
Methods [73.35353358543507]
SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。
本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。
本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
論文 参考訳(メタデータ) (2022-02-15T09:17:39Z) - Stochastic Variance Reduction for Variational Inequality Methods [19.061953585686986]
凸凹サドル点問題, 単調変位不等式, 単調包含問題に対する分散化アルゴリズムを提案する。
私たちのフレームワークは、ユークリッドとブレグマンの両方で、エクストラグラデーション、フォワードバックワード、フォワードリフレクテッドバックワードメソッドに適用されます。
論文 参考訳(メタデータ) (2021-02-16T18:39:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。