論文の概要: Accelerated Gradient Methods for Sparse Statistical Learning with Nonconvex Penalties

• arxiv url: http://arxiv.org/abs/2009.10629v3
• Date: Fri, 7 Jan 2022 20:44:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 23:19:06.743809
• Title: Accelerated Gradient Methods for Sparse Statistical Learning with Nonconvex Penalties
• Title（参考訳）: 非凸ペナルティを用いたスパース統計学習のための加速勾配法
• Authors: Kai Yang, Masoud Asgharian, Sahir Bhatnagar
• Abstract要約: ネステロフの加速シミュレーション(AG)は、対物関数を2つ、凸損失とペナルティ関数の2つに最適化する一般的な手法である。 最近のNesterov's AGの提案は一般化しているが、統計学習問題には適用されていない。 本稿では,非AGアルゴリズムを高次元かつスパースな統計的学習問題に適用することを検討する。
• 参考スコア（独自算出の注目度）: 10.913266721195916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nesterov's accelerated gradient (AG) is a popular technique to optimize objective functions comprising two components: a convex loss and a penalty function. While AG methods perform well for convex penalties, such as the LASSO, convergence issues may arise when it is applied to nonconvex penalties, such as SCAD. A recent proposal generalizes Nesterov's AG method to the nonconvex setting but has never been applied to sparse statistical learning problems. There are several hyperparameters to be set before running the proposed algorithm. However, there is no explicit rule as to how the hyperparameters should be selected. In this article, we consider the application of this nonconvex AG algorithm to high-dimensional linear and logistic sparse learning problems, and propose a hyperparameter setting based on the complexity upper bound to accelerate convergence. We further establish the rate of convergence and present a simple and useful bound for the damping sequence. Simulation studies show that convergence can be made, on average, considerably faster than that of the conventional ISTA algorithm. Our experiments also show that the proposed method generally outperforms the current state-of-the-art method in terms of signal recovery.
• Abstract（参考訳）: Nesterovの加速勾配(AG)は、凸損失とペナルティ関数という2つのコンポーネントからなる目的関数を最適化する一般的な手法である。 AG法は、LASSOのような凸罰に対してうまく機能するが、SCADのような凸罰に適用されると収束問題が発生する。 最近の提案では、NesterovのAG法を非凸設定に一般化しているが、統計学習の問題には適用されていない。 提案アルゴリズムを実行する前に、いくつかのハイパーパラメータを設定する必要がある。 しかし、ハイパーパラメータの選択方法に関して明確なルールはない。 本稿では,この非凸AGアルゴリズムを高次元線形・ロジスティックなスパース学習問題に適用し,収束を加速するための複雑性上限に基づくハイパーパラメータ設定を提案する。 さらに,収束率をさらに確立し,減衰列に対して単純で有用な境界を与える。 シミュレーション研究により、収束は従来のISTAアルゴリズムよりも平均的にかなり速くできることが示された。 また,提案手法は,信号回復の観点から,現在最先端の手法よりも高い性能を示した。

関連論文リスト

• PROMISE: Preconditioned Stochastic Optimization Methods by Incorporating Scalable Curvature Estimates [17.777466668123886]
  PROMISE ($textbfPr$econditioned $textbfO$ptimization $textbfM$ethods by $textbfI$ncorporating $textbfS$calable Curvature $textbfE$stimates)はスケッチベースの事前条件勾配アルゴリズムである。 PROMISEには、SVRG、SAGA、およびKatyushaのプレコンディション版が含まれている。
  論文  参考訳（メタデータ） (2023-09-05T07:49:10Z)
• Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties [8.294148737585543]
  本稿では,非二次絶対および非平滑収束ペナルティの存在下での凹凸および切断された量子レグレッションについて検討する。 本稿では,スパース回帰に特化してSIADと呼ばれるペナルティ乗算器が増加する新しいループADMアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-04T21:48:51Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints [10.578409461429626]
  本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。 我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。 一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-23T20:02:00Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)
• Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems [39.13924898972611]
  非minimaxewicz問題は、生成的対向ネットワークと対向学習の応用において頻繁に現れる。 一定の大きさのGDAアルゴリズムは凸設定でも潜在的に分岐する可能性がある。 AGDAアルゴリズムは、サブレートに達する速度でグローバルに収束する。
  論文  参考訳（メタデータ） (2020-02-22T04:20:37Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。