論文の概要: A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization

• arxiv url: http://arxiv.org/abs/2112.11928v1
• Date: Wed, 22 Dec 2021 14:47:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 16:57:42.721092
• Title: A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization
• Title（参考訳）: 確率的ブレグマン原始二分割アルゴリズムによる合成最適化
• Authors: Antonio Silveti-Falls, Cesare Molinari, Jalal Fadili
• Abstract要約: 実バナッハ空間上の凸凹サドル点問題の第一次原始双対解法について検討する。 我々のフレームワークは一般であり、アルゴリズムにおいてブレグマンの発散を誘導するエントロピーの強い凸性を必要としない。 数値的な応用としては、エントロピー的正則化ワッサーシュタイン・バリセンタ問題や、単純体上の正則化逆問題などが挙げられる。
• 参考スコア（独自算出の注目度）: 2.9112649816695204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study a stochastic first order primal-dual method for solving convex-concave saddle point problems over real reflexive Banach spaces using Bregman divergences and relative smoothness assumptions, in which we allow for stochastic error in the computation of gradient terms within the algorithm. We show ergodic convergence in expectation of the Lagrangian optimality gap with a rate of O(1/k) and that every almost sure weak cluster point of the ergodic sequence is a saddle point in expectation under mild assumptions. Under slightly stricter assumptions, we show almost sure weak convergence of the pointwise iterates to a saddle point. Under a relative strong convexity assumption on the objective functions and a total convexity assumption on the entropies of the Bregman divergences, we establish almost sure strong convergence of the pointwise iterates to a saddle point. Our framework is general and does not need strong convexity of the entropies inducing the Bregman divergences in the algorithm. Numerical applications are considered including entropically regularized Wasserstein barycenter problems and regularized inverse problems on the simplex.
• Abstract（参考訳）: 本研究は,bregman divergences と relative smoothness assumptions を用いて実回帰バナッハ空間上の凸凸鞍点問題を解くための確率的第一次原始双対法について検討し,アルゴリズム内の勾配項の計算において確率的誤差を許容する。 我々は, o(1/k) の速度でラグランジュ最適性ギャップを期待するエルゴード収束を示し, エルゴード列のほとんど確実に弱いクラスター点はすべて, 軽度の仮定の下での期待における鞍点であることを示した。 もう少し厳密な仮定の下では、ポイントワイズイテレートの弱収束がサドル点にほぼ確実に一致することを示す。 対象関数に対する相対的な強い凸性仮定と、ブレグマン発散のエントロピーに関する全凸性仮定の下で、ポイントワイドの強い収束性はほぼ確実にサドル点に収束する。 我々のフレームワークは一般的であり、アルゴリズムのブレグマン分岐を誘導するエントロピーの強い凸性を必要としない。 数値的応用としては、エントロピー的に正則化されたwasserstein barycenter問題やsimplex上の正則化逆問題などが挙げられる。

関連論文リスト

• Weakly Convex Regularisers for Inverse Problems: Convergence of Critical Points and Primal-Dual Optimisation [12.455342327482223]
  臨界点の観点から収束正則化の一般化された定式化を提案する。 これは弱凸正規化器のクラスによって達成されることを示す。 この理論を正規化学習に適用し、入力の弱い凸ニューラルネットワークに対する普遍的な近似を証明した。
  論文  参考訳（メタデータ） (2024-02-01T22:54:45Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Randomized Coordinate Subgradient Method for Nonsmooth Composite Optimization [11.017632675093628]
  非滑らかな問題に対処するコーディネート型劣階法は、リプシッツ型仮定の性質のセットのため、比較的過小評価されている。
  論文  参考訳（メタデータ） (2022-06-30T02:17:11Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Stochastic Saddle Point Problems with Decision-Dependent Distributions [0.6091702876917279]
  本稿では,静的設定と時間変化設定の両方において決定に依存するサドル点問題に焦点をあてる。 定常ミニマックス問題に対するサドル点である平衡点の概念を導入する。 原始双対アルゴリズムは、同様の方法でサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2022-01-07T03:36:41Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Stochastic optimization with momentum: convergence, fluctuations, and traps avoidance [0.0]
  本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。 この回避は、非自明な常微分方程式のノイズ離散化として研究される。
  論文  参考訳（メタデータ） (2020-12-07T19:14:49Z)
• Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
  オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。 本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。 ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
  論文  参考訳（メタデータ） (2020-06-11T19:40:38Z)
• Explicit Regularization of Stochastic Gradient Methods through Duality [9.131027490864938]
  ランダム化された双対座標の上昇に基づくランダム化されたDykstraスタイルのアルゴリズムを提案する。 座標降下を高速化するために、補間系における既存の勾配法よりも収束特性がよい新しいアルゴリズムを得る。
  論文  参考訳（メタデータ） (2020-03-30T20:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。