論文の概要: Cyclic Block Coordinate Descent With Variance Reduction for Composite Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2212.05088v1
• Date: Fri, 9 Dec 2022 19:17:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 18:08:02.167764
• Title: Cyclic Block Coordinate Descent With Variance Reduction for Composite Nonconvex Optimization
• Title（参考訳）: 複合非凸最適化のためのばらつき低減を伴う周期ブロック座標ダイス
• Authors: Xufeng Cai, Chaobing Song, Stephen J. Wright, Jelena Diakonikolas
• Abstract要約: 非漸近勾配ノルム保証を協調する問題の解法を提案する。 本研究は,ニューラルネットの深部学習における循環還元方式の有効性を実証するものである。
• 参考スコア（独自算出の注目度）: 26.218670461973705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nonconvex optimization is central in solving many machine learning problems, in which block-wise structure is commonly encountered. In this work, we propose cyclic block coordinate methods for nonconvex optimization problems with non-asymptotic gradient norm guarantees. Our convergence analysis is based on a gradient Lipschitz condition with respect to a Mahalanobis norm, inspired by a recent progress on cyclic block coordinate methods. In deterministic settings, our convergence guarantee matches the guarantee of (full-gradient) gradient descent, but with the gradient Lipschitz constant being defined w.r.t.~the Mahalanobis norm. In stochastic settings, we use recursive variance reduction to decrease the per-iteration cost and match the arithmetic operation complexity of current optimal stochastic full-gradient methods, with a unified analysis for both finite-sum and infinite-sum cases. We further prove the faster, linear convergence of our methods when a Polyak-{\L}ojasiewicz (P{\L}) condition holds for the objective function. To the best of our knowledge, our work is the first to provide variance-reduced convergence guarantees for a cyclic block coordinate method. Our experimental results demonstrate the efficacy of the proposed variance-reduced cyclic scheme in training deep neural nets.
• Abstract（参考訳）: 非凸最適化は、ブロックワイド構造が一般的に遭遇する多くの機械学習問題の解決の中心である。 本研究では,非漸近勾配ノルム保証を伴う非凸最適化問題に対する循環ブロック座標法を提案する。 我々の収束解析は,最近の巡回ブロック座標法の発展に触発された,マハラノビスノルムに対する勾配リプシッツ条件に基づいている。 決定論的設定では、収束保証は(全階勾配降下の保証と一致するが、勾配リプシッツ定数は w.r.t.~マハラノビスノルムで定義される。 確率的条件下では、再帰的分散低減法を用いて、解法あたりのコストを削減し、現在の最適確率的完全次法における算術演算の複雑さに一致させる。 さらに、目的関数に対してpolyak-{\L}ojasiewicz (P{\L})条件が成立すると、より高速で線形収束が証明される。 我々の知識を最大限に活用するために、循環ブロック座標法に対する分散還元収束保証を初めて提供する。 実験結果は,ディープニューラルネットの学習における分散低減型循環スキームの有効性を示す。

関連論文リスト

• An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes [17.804065824245402]
  機械学習の応用では、各損失関数は非負であり、平方根とその実数値平方根の構成として表すことができる。 本稿では, ガウス・ニュートン法やレフスカルト法を適用して, 滑らかだが非負な関数の平均を最小化する方法を示す。
  論文  参考訳（メタデータ） (2024-07-05T08:53:06Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• An Accelerated Block Proximal Framework with Adaptive Momentum for Nonconvex and Nonsmooth Optimization [2.323238724742687]
  非平滑および非平滑最適化のための適応モーメント(ABPL$+$)を有する加速ブロック近位線形フレームワークを提案する。 いくつかのアルゴリズムでは外挿ステップの潜在的な原因を解析し、比較プロセスの強化によってこの問題を解消する。 我々はアルゴリズムを勾配ステップと線形補間ステップの更新を含む任意のシナリオに拡張する。
  論文  参考訳（メタデータ） (2023-08-23T13:32:31Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• A conditional gradient homotopy method with applications to Semidefinite Programming [1.6369790794838281]
  ホモトピーに基づく条件勾配法による凸最適化問題の解法。 我々の理論的複雑さは、最先端のSDPに直面すると競合し、安価なプロジェクションフリーの決定的な利点がある。
  論文  参考訳（メタデータ） (2022-07-07T05:48:27Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• Cyclic Coordinate Dual Averaging with Extrapolation [22.234715500748074]
  単調作用素を用いた変分不等式(VI)問題の一般クラスに適用可能な新しいブロック座標法を提案する。 得られた収束境界は、全勾配法の最適収束境界と一致する。 座標ブロックが$m$の場合、我々の境界における勾配リプシッツ定数は、従来のユークリッドのリプシッツ定数と比較して$sqrtm$よりも大きくなることはない。
  論文  参考訳（メタデータ） (2021-02-26T00:28:58Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression [0.0]
  本稿では、収束保証付き非正則正規化器のためのワーキングセットアルゴリズムを提案する。 その結果,ブロックコーディネートや勾配ソルバの完全解法と比較して高い利得を示した。
  論文  参考訳（メタデータ） (2020-06-24T07:40:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。