論文の概要: DISA: A Dual Inexact Splitting Algorithm for Distributed Convex Composite Optimization

• arxiv url: http://arxiv.org/abs/2209.01850v1
• Date: Mon, 5 Sep 2022 09:16:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 15:24:56.975808
• Title: DISA: A Dual Inexact Splitting Algorithm for Distributed Convex Composite Optimization
• Title（参考訳）: DISA:分散凸合成最適化のための二重非接触分割アルゴリズム
• Authors: Luyao Guo, Xinli Shi, Shaofu Yang, Jinde Cao
• Abstract要約: 本稿では,分散凸合成最適化問題に対する新しい2重不エクサクト分割アルゴリズム(DISA)を提案する。 DISA が収束するのは、プライマリと双対が $tau$, $beta$ が $0tau2/L$ と $0taubeta 1$ を満たすときである。
• 参考スコア（独自算出の注目度）: 39.67743321086165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel dual inexact splitting algorithm (DISA) for the distributed convex composite optimization problem, where the local loss function consists of an $L$-smooth term and a possibly nonsmooth term which is composed with a linear operator. We prove that DISA is convergent when the primal and dual stepsizes $\tau$, $\beta$ satisfy $0<\tau<{2}/{L}$ and $0<\tau\beta <1$. Compared with existing primal-dual proximal splitting algorithms (PD-PSAs), DISA overcomes the dependence of the convergence stepsize range on the Euclidean norm of the linear operator. It implies that DISA allows for larger stepsizes when the Euclidean norm is large, thus ensuring fast convergence of it. Moreover, we establish the sublinear and linear convergence rate of DISA under general convexity and metric subregularity, respectively. Furthermore, an approximate iterative version of DISA is provided, and the global convergence and sublinear convergence rate of this approximate version are proved. Finally, numerical experiments not only corroborate the theoretical analyses but also indicate that DISA achieves a significant acceleration compared with the existing PD-PSAs.
• Abstract（参考訳）: 本稿では、分散凸合成最適化問題に対して、局所損失関数が$L$-smooth項と、線形演算子で構成されるおそらく非smooth項からなる新しい双対不動分割アルゴリズム(DISA)を提案する。 原始および双対が$\tau$、$\beta$が$0<\tau<{2}/{L}$と$0<\tau\beta <1$を満たすとき、disAが収束することが証明される。 既存の原始-二重近位分割アルゴリズム (PD-PSA) と比較すると、 DisA は線型作用素のユークリッドノルムに対する収束段階範囲の依存を克服する。 これは DISA がユークリッドノルムが大きければより大きな段階化を許容し、それによってその高速収束が保証されることを意味する。 さらに, 一般凸性および計量準正則性の下で, DISA の線形収束率と線形収束率を確立する。 さらに,disaの近似反復バージョンを提供し,この近似バージョンの大域収束とサブリニア収束率を証明した。 最後に, 数値実験により, disa が既存の pd-psas と比較して著しく加速することを示す。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization [39.352542703876104]
  本稿では,非方向および接続ネットワーク上での分散凸複合最適化について考察する。 CTA(Combine-Then-Adapt)に基づく新しい分散アルゴリズムは、非協調的なネットワーク非依存の定数ステップサイズの下で提案される。
  論文  参考訳（メタデータ） (2023-02-07T03:50:38Z)
• BALPA: A Balanced Primal-Dual Algorithm for Nonsmooth Optimization with Application to Distributed Optimization [39.67743321086165]
  等式制約のある合成最適化問題に対して,新しい原始二元近位分割アルゴリズム (PD-PSA) を提案する。 BALPAでは、二重更新は時間変化の二次関数の近点として設計され、原始的および二重更新の実装のバランスをとる。 本稿では,BALPA(S-BALPA)のバージョンを提案し,新たな分散最適化アルゴリズムの開発にBALPAを適用した。
  論文  参考訳（メタデータ） (2022-12-06T09:18:31Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Exact and Approximation Algorithms for Sparse PCA [1.7640556247739623]
  本稿では,MISDP(MISDP)とMISDP(MISDP)について述べる。 次に、それらの連続緩和値の理論的最適性ギャップを分析し、それらが最先端の値よりも強いことを証明する。 市販の解法は一般にMISDPを解くのが難しいため,MISDPと同等の大きさのMILP(mixed-integer linear program)を用いてSPCAを任意の精度で近似する。
  論文  参考訳（メタデータ） (2020-08-28T02:07:08Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。