論文の概要: DISA: A Dual Inexact Splitting Algorithm for Distributed Convex Composite Optimization

• arxiv url: http://arxiv.org/abs/2209.01850v2
• Date: Sun, 23 Apr 2023 02:21:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 23:57:40.495820
• Title: DISA: A Dual Inexact Splitting Algorithm for Distributed Convex Composite Optimization
• Title（参考訳）: DISA:分散凸合成最適化のための二重非接触分割アルゴリズム
• Authors: Luyao Guo, Xinli Shi, Shaofu Yang, Jinde Cao
• Abstract要約: 本稿では,分散凸複合最適化問題に対する新しいDISAを提案する。 DISA は初めて、線型写像のユークリッドノルムに対する収束ステップサイズ範囲の依存を排除した。 近似近位写像を持つ DISA の変種を提供し、その大域収束と下線収束率を証明する。
• 参考スコア（独自算出の注目度）: 39.67743321086165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel Dual Inexact Splitting Algorithm (DISA) for distributed convex composite optimization problems, where the local loss function consists of a smooth term and a possibly nonsmooth term composed with a linear mapping. DISA, for the first time, eliminates the dependence of the convergent step-size range on the Euclidean norm of the linear mapping, while inheriting the advantages of the classic Primal-Dual Proximal Splitting Algorithm (PD-PSA): simple structure and easy implementation. This indicates that DISA can be executed without prior knowledge of the norm, and tiny step-sizes can be avoided when the norm is large. Additionally, we prove sublinear and linear convergence rates of DISA under general convexity and metric subregularity, respectively. Moreover, we provide a variant of DISA with approximate proximal mapping and prove its global convergence and sublinear convergence rate. Numerical experiments corroborate our theoretical analyses and demonstrate a significant acceleration of DISA compared to existing PD-PSAs.
• Abstract（参考訳）: 本稿では,局所損失関数が滑らかな項と線形写像からなる非滑らかな項からなる分散凸合成最適化問題に対して,新しい2重不等分分割アルゴリズム(disa)を提案する。 disaは初めて、線形写像のユークリッドノルムへの収束ステップサイズ範囲の依存性を取り除き、古典的な原始双対近分解アルゴリズム(pd-psa: simple structure and easy implementation)の利点を継承した。 これは、DIAが標準に関する事前の知識なしで実行可能であることを示し、標準が大きければ小さなステップサイズを回避できることを示している。 さらに、一般凸性および計量準正則性の下での DisA の線形収束率をそれぞれ証明する。 さらに、近似近位写像を持つ DISA の変種を提供し、その大域収束と下線収束率を証明する。 数値実験は、我々の理論解析を裏付け、既存のPD-PSAと比較して、disAの顕著な加速を示す。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• BALPA: A Balanced Primal-Dual Algorithm for Nonsmooth Optimization with Application to Distributed Optimization [39.67743321086165]
  等式制約のある合成最適化問題に対して,新しい原始二元近位分割アルゴリズム (PD-PSA) を提案する。 BALPAでは、二重更新は時間変化の二次関数の近点として設計され、原始的および二重更新の実装のバランスをとる。 本稿では,BALPA(S-BALPA)のバージョンを提案し,新たな分散最適化アルゴリズムの開発にBALPAを適用した。
  論文  参考訳（メタデータ） (2022-12-06T09:18:31Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
  テンソルの合同ベンチマークとクラスタリングの問題を考察する。 本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-15T21:06:16Z)
• Exact and Approximation Algorithms for Sparse PCA [1.7640556247739623]
  本稿では,MISDP(MISDP)とMISDP(MISDP)について述べる。 次に、それらの連続緩和値の理論的最適性ギャップを分析し、それらが最先端の値よりも強いことを証明する。 市販の解法は一般にMISDPを解くのが難しいため,MISDPと同等の大きさのMILP(mixed-integer linear program)を用いてSPCAを任意の精度で近似する。
  論文  参考訳（メタデータ） (2020-08-28T02:07:08Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。