論文の概要: Coordinate Descent Methods for DC Minimization

• arxiv url: http://arxiv.org/abs/2109.04228v1
• Date: Thu, 9 Sep 2021 12:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-11 01:10:14.738661
• Title: Coordinate Descent Methods for DC Minimization
• Title（参考訳）: 直流最小化のための座標降下法
• Authors: Ganzhao Yuan
• Abstract要約: 差分凸(英: difference-of-Convex、DC)とは、2つの凸関数の差を最小化する問題である。 本稿では,非次元の1次元サブプロブレムを世界規模で提案し,座標の定常点に収束することが保証される。
• 参考スコア（独自算出の注目度）: 12.284934135116515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Difference-of-Convex (DC) minimization, referring to the problem of minimizing the difference of two convex functions, has been found rich applications in statistical learning and studied extensively for decades. However, existing methods are primarily based on multi-stage convex relaxation, only leading to weak optimality of critical points. This paper proposes a coordinate descent method for minimizing DC functions based on sequential nonconvex approximation. Our approach iteratively solves a nonconvex one-dimensional subproblem globally, and it is guaranteed to converge to a coordinate-wise stationary point. We prove that this new optimality condition is always stronger than the critical point condition and the directional point condition when the objective function is weakly convex. For comparisons, we also include a naive variant of coordinate descent methods based on sequential convex approximation in our study. When the objective function satisfies an additional regularity condition called \emph{sharpness}, coordinate descent methods with an appropriate initialization converge \emph{linearly} to the optimal solution set. Also, for many applications of interest, we show that the nonconvex one-dimensional subproblem can be computed exactly and efficiently using a breakpoint searching method. We present some discussions and extensions of our proposed method. Finally, we have conducted extensive experiments on several statistical learning tasks to show the superiority of our approach. Keywords: Coordinate Descent, DC Minimization, DC Programming, Difference-of-Convex Programs, Nonconvex Optimization, Sparse Optimization, Binary Optimization.
• Abstract（参考訳）: 差分凸(DC)最小化は、2つの凸関数の差分を最小化する問題に言及し、統計学習において豊富な応用が見出され、数十年にわたって広く研究されてきた。 しかし、既存の方法は主に多段対流緩和に基づいており、臨界点の弱最適性をもたらすのみである。 本稿では,逐次非凸近似に基づく直流関数の最小化のための座標降下法を提案する。 本手法は,非凸一次元部分問題全体に対して反復的に解き,座標回りの定常点に収束することが保証される。 対象関数が弱凸である場合、この新しい最適条件は常に臨界点条件や方向点条件よりも強いことが証明される。 比較のために,逐次凸近似に基づく座標降下法のナイーブな変種を本研究に含める。 目的関数が \emph{sharpness} と呼ばれる追加の正則性条件を満たすとき、適切な初期化を持つ座標降下法は最適解集合に収束する。 また,多くの応用において,非凸な1次元サブプロブレムをブレークポイント探索法を用いて正確に効率的に計算できることが示されている。 本稿では,提案手法の議論と拡張について述べる。 最後に,いくつかの統計的学習タスクについて広範な実験を行い,本手法の優越性を示した。 キーワード:座標降下、dc最小化、dcプログラミング、差分凸プログラム、非凸最適化、スパース最適化、バイナリ最適化。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Variable Substitution and Bilinear Programming for Aligning Partially Overlapping Point Sets [48.1015832267945]
  本研究では,RPMアルゴリズムの最小化目的関数を用いて要求を満たす手法を提案する。 分岐とバウンド(BnB)アルゴリズムが考案され、パラメータのみに分岐し、収束率を高める。 実験による評価は,非剛性変形,位置雑音,外れ値に対する提案手法の高剛性を示す。
  論文  参考訳（メタデータ） (2024-05-14T13:28:57Z)
• An Accelerated Gradient Method for Convex Smooth Simple Bilevel Optimization [16.709026203727007]
  下層問題の解集合を局所的に近似する新しい双レベル最適化法を提案する。 我々は,提案手法の性能を,最適度と不実現可能性の誤差の観点から測定する。
  論文  参考訳（メタデータ） (2024-02-12T22:34:53Z)
• Efficient Gradient Approximation Method for Constrained Bilevel Optimization [2.0305676256390934]
  大規模高次元データを用いたバイレベル最適化が開発されている。 本稿では凸と微分不可能な近似を伴う制約付き二値問題について考察する。
  論文  参考訳（メタデータ） (2023-02-03T19:34:56Z)
• Efficient Algorithms for High-Dimensional Convex Subspace Optimization via Strict Complementarity [19.24470467199451]
  目的が$realsn$, $k$の部分空間を見つけることにある最適化問題を考慮し、凸の滑らかな損失を最小限に抑える。 この問題は高次元のレジームでは高いが、大域的最適解を見つけることは困難である。 本稿では自然について述べる。 収束する最適な次元緩和を 決定するのです グローバルは単純です
  論文  参考訳（メタデータ） (2022-02-08T17:36:43Z)
• Coordinate Descent Methods for Fractional Minimization [7.716156977428555]
  数値部の対象が微分可能凸非線型関数の和であるような構成された分数凸問題のクラスを考える。 この問題は非滑らか収束であるため難しい。 この問題を解決するための2つの方法を提案する。
  論文  参考訳（メタデータ） (2022-01-30T00:47:04Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• A Feasible Level Proximal Point Method for Nonconvex Sparse Constrained Optimization [25.73397307080647]
  本稿では,汎用凸あるいは非汎用機械目標の新しいモデルを提案する。 本稿では,各サブプロブレムの点レベルを徐々に緩和した制約を解くアルゴリズムを提案する。 我々は,新しい数値スケール問題の有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-23T05:24:05Z)
• Aligning Partially Overlapping Point Sets: an Inner Approximation Algorithm [80.15123031136564]
  変換の値に関する事前情報がない点集合を整列するロバストな手法を提案する。 我々のアルゴリズムは変換の正規化を必要とせず、変換の値に関する事前情報がない状況に対処できる。 実験により,提案手法が最先端のアルゴリズムよりも高いロバスト性を示した。
  論文  参考訳（メタデータ） (2020-07-05T15:23:33Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。