論文の概要: Avoiding strict saddle points of nonconvex regularized problems
- arxiv url: http://arxiv.org/abs/2401.09274v1
- Date: Wed, 17 Jan 2024 15:25:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 15:22:54.278384
- Title: Avoiding strict saddle points of nonconvex regularized problems
- Title(参考訳): 非凸正規化問題の厳密な鞍点を避ける
- Authors: Luwei Bai
- Abstract要約: 我々は $ell_p$ 正規化関数に対して厳密なサドル特性を導入する。
本稿では,sparse $ell_問題を解決するために,反復再重み付き $ell_p$ を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a strict saddle property for $\ell_p$ regularized functions, and
propose an iterative reweighted $\ell_1$ algorithm to solve the $\ell_p$
regularized problems. The algorithm is guaranteed to converge only to local
minimizers when randomly initialized. The strict saddle property is shown
generic on these sparse optimization problems. Those analyses as well as the
proposed algorithm can be easily extended to general nonconvex regularized
problems.
- Abstract(参考訳): 我々は、$\ell_p$正規化関数に対する厳密なsaddleプロパティを導入し、$\ell_p$正規化問題を解くために反復的な$\ell_1$アルゴリズムを提案する。
アルゴリズムはランダムに初期化されると局所最小化器に収束することが保証される。
厳密なサドル特性は、これらのスパース最適化問題に一般性を示す。
これらの解析と提案アルゴリズムは一般の非凸正規化問題にも容易に拡張できる。
関連論文リスト
- Efficient Frameworks for Generalized Low-Rank Matrix Bandit Problems [61.85150061213987]
一般化線形モデル (GLM) フレームワークを用いて, citelu2021low で提案した一般化低ランク行列帯域問題について検討する。
既存のアルゴリズムの計算不可能性と理論的制約を克服するため,まずG-ESTTフレームワークを提案する。
G-ESTT は $tildeO(sqrt(d_1+d_2)3/2Mr3/2T)$ bound of regret を達成でき、G-ESTS は $tildeO を達成できることを示す。
論文 参考訳(メタデータ) (2024-01-14T14:14:19Z) - Smoothing the Edges: A General Framework for Smooth Optimization in
Sparse Regularization using Hadamard Overparametrization [0.8029049649310213]
本稿では、()空間の正規化を$ell_q$ $ell_p,q$でスムーズに最適化するためのフレームワークを提案する。
ここでソリューションを見つけることは、オフザシェルフ()スパシティと互換性がある。
論文 参考訳(メタデータ) (2023-07-07T13:06:12Z) - Private estimation algorithms for stochastic block models and mixture
models [63.07482515700984]
効率的なプライベート推定アルゴリズムを設計するための一般的なツール。
最初の効率的な$(epsilon, delta)$-differentially private algorithm for both weak recovery and exact recovery。
論文 参考訳(メタデータ) (2023-01-11T09:12:28Z) - Best Policy Identification in Linear MDPs [70.57916977441262]
縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。
複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
論文 参考訳(メタデータ) (2022-08-11T04:12:50Z) - Instance-Dependent Regret Analysis of Kernelized Bandits [19.252319300590653]
雑音の多いゼロオーダーオーラを問合せするための適応戦略を設計することを含む、カーネル化された帯域幅問題について検討する。
正規化された累積後悔を解消する(関数クラス上)アルゴリズムに対して、不一致依存的後悔の下限を導出する。
論文 参考訳(メタデータ) (2022-03-12T00:53:59Z) - Accelerated SGD for Non-Strongly-Convex Least Squares [14.010916616909743]
非強凸設定における最小二乗回帰問題の近似を考察する。
本稿では,問題のノイズに依存して最適な予測誤差率を実現するための,最初の実用的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-03T14:39:33Z) - A Projection-free Algorithm for Constrained Stochastic Multi-level
Composition Optimization [12.096252285460814]
合成最適化のためのプロジェクションフリー条件付き勾配型アルゴリズムを提案する。
提案アルゴリズムで要求されるオラクルの数と線形最小化オラクルは,それぞれ$mathcalO_T(epsilon-2)$と$mathcalO_T(epsilon-3)$である。
論文 参考訳(メタデータ) (2022-02-09T06:05:38Z) - Iterative regularization for low complexity regularizers [18.87017835436693]
反復正則化は、最適化アルゴリズムの暗黙のバイアスを利用して不正な問題を正則化する。
非滑らかかつ非凸な関数によって記述されるバイアスを処理できる最初の反復正則化手法を提案し,研究する。
論文 参考訳(メタデータ) (2022-02-01T14:09:00Z) - Randomized Stochastic Variance-Reduced Methods for Stochastic Bilevel
Optimization [62.87181271021217]
機械学習に多くの応用がある非SBO問題を考察する。
本稿では,非SBO問題に対する高速ランダム化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-05-05T18:28:42Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Second-order Conditional Gradient Sliding [79.66739383117232]
本稿では,emphSecond-Order Conditional Gradient Sliding (SOCGS)アルゴリズムを提案する。
SOCGSアルゴリズムは、有限個の線形収束反復の後、原始ギャップに二次的に収束する。
実現可能な領域が線形最適化オラクルを通してのみ効率的にアクセスできる場合に有用である。
論文 参考訳(メタデータ) (2020-02-20T17:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。