論文の概要: Stochastic Projective Splitting: Solving Saddle-Point Problems with
Multiple Regularizers
- arxiv url: http://arxiv.org/abs/2106.13067v1
- Date: Thu, 24 Jun 2021 14:48:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 14:51:00.957830
- Title: Stochastic Projective Splitting: Solving Saddle-Point Problems with
Multiple Regularizers
- Title（参考訳）: 確率射影分割:複数正規化器を用いたサドルポイント問題の解法
- Authors: Patrick R. Johnstone, Jonathan Eckstein, Thomas Flynn, Shinjae Yoo
- Abstract要約: 本稿では、包含問題に対する単調アルゴリズムの射影分割(PS)系列の新たな変種について述べる。
勾配降下上昇に伴う収束問題なしに、ロバストMLのような応用で生じるmin-maxおよび非協調ゲーム定式化を解くことができる。
- 参考スコア（独自算出の注目度）: 4.568911586155097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new, stochastic variant of the projective splitting (PS) family
of algorithms for monotone inclusion problems. It can solve min-max and
noncooperative game formulations arising in applications such as robust ML
without the convergence issues associated with gradient descent-ascent, the
current de facto standard approach in such situations. Our proposal is the
first version of PS able to use stochastic (as opposed to deterministic)
gradient oracles. It is also the first stochastic method that can solve min-max
games while easily handling multiple constraints and nonsmooth regularizers via
projection and proximal operators. We close with numerical experiments on a
distributionally robust sparse logistic regression problem.
- Abstract（参考訳）: 本稿では,単調包含問題に対する射影分割(ps)系の新しい確率的変種を提案する。
グラデーション降下上昇に伴う収束問題やそのような状況における現在のデファクト標準アプローチを伴わない、ロバストMLのようなアプリケーションで生じるmin-maxおよび非協調ゲーム定式化を解くことができる。
我々の提案は、(決定論的ではなく)確率的勾配オラクルを使用できるPSの最初のバージョンである。
また、複数の制約や非滑らかな正規化器をプロジェクションや近位演算子を介して容易に扱えるようにして、min-maxゲームを解決する最初の確率的方法でもある。
分布的に頑健なスパースロジスティック回帰問題に関する数値実験に近づいた。
関連論文リスト
- Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。
スパース・アンミキシングの代替手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-01-23T10:07:41Z) - Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features [65.64276393443346]
Frank-Wolfe (FW) 法は、構造化制約による最適化問題の解法として一般的な手法である。
有限サム勾配の最小化のためのアルゴリズムの2つの新しい変種を示す。
論文 参考訳（メタデータ） (2023-04-23T20:05:09Z) - Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation
Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。
提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-12-19T14:48:54Z) - Multi-block-Single-probe Variance Reduced Estimator for Coupled
Compositional Optimization [49.58290066287418]
構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。
本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
論文 参考訳（メタデータ） (2022-07-18T12:03:26Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。
リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。
このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
論文 参考訳（メタデータ） (2021-02-27T19:28:39Z) - Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax
Problems [26.24895953952318]
我々は,非ガンスミニマックス問題のクラスを解くアルゴリズムを開発した。
また、単一または2つのミニバッチ誘導体でも機能する。
論文 参考訳（メタデータ） (2020-06-27T03:05:18Z) - Stochastic gradient algorithms from ODE splitting perspective [0.0]
我々は、ODEの近似解の分割スキームに遡る最適化に関する異なる見解を示す。
そこで本研究では, ODE の勾配一階分割方式と降下アプローチの関連性について述べる。
我々は、機械学習アプリケーションにインスパイアされた分割の特殊なケースを考察し、それに対するグローバルスプリッティングエラーに新たな上限を導出する。
論文 参考訳（メタデータ） (2020-04-19T22:45:32Z) - Explicit Regularization of Stochastic Gradient Methods through Duality [9.131027490864938]
ランダム化された双対座標の上昇に基づくランダム化されたDykstraスタイルのアルゴリズムを提案する。
座標降下を高速化するために、補間系における既存の勾配法よりも収束特性がよい新しいアルゴリズムを得る。
論文 参考訳（メタデータ） (2020-03-30T20:44:56Z) - Stochastic Proximal Gradient Algorithm with Minibatches. Application to
Large Scale Learning Models [2.384873896423002]
非滑らかな成分を持つ汎用合成対象関数に対する勾配アルゴリズムのミニバッチ変種を開発し解析する。
我々は、最小バッチサイズ$N$に対して、$mathcalO(frac1Nepsilon)$$epsilon-$subityが最適解に期待される二次距離で達成されるような、定数および変数のステップサイズ反復ポリシーの複雑さを提供する。
論文 参考訳（メタデータ） (2020-03-30T10:43:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。