論文の概要: Orthant Based Proximal Stochastic Gradient Method for
$\ell_1$-Regularized Optimization
- arxiv url: http://arxiv.org/abs/2004.03639v2
- Date: Thu, 23 Jul 2020 04:54:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 23:20:55.078818
- Title: Orthant Based Proximal Stochastic Gradient Method for
$\ell_1$-Regularized Optimization
- Title(参考訳): $\ell_1$-regularized Optimizationに対するorthant Based Proximal Stochastic Gradient Method
- Authors: Tianyi Chen, Tianyu Ding, Bo Ji, Guanyi Wang, Jing Tian, Yixin Shi,
Sheng Yi, Xiao Tu, Zhihui Zhu
- Abstract要約: スパーシリティを誘発する正規化問題は、機械学習アプリケーションではユビキタスである。
本稿では,新しい手法として-Orthanximal Gradient Method (OBProx-SG)を提案する。
- 参考スコア(独自算出の注目度): 35.236001071182855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparsity-inducing regularization problems are ubiquitous in machine learning
applications, ranging from feature selection to model compression. In this
paper, we present a novel stochastic method -- Orthant Based Proximal
Stochastic Gradient Method (OBProx-SG) -- to solve perhaps the most popular
instance, i.e., the l1-regularized problem. The OBProx-SG method contains two
steps: (i) a proximal stochastic gradient step to predict a support cover of
the solution; and (ii) an orthant step to aggressively enhance the sparsity
level via orthant face projection. Compared to the state-of-the-art methods,
e.g., Prox-SG, RDA and Prox-SVRG, the OBProx-SG not only converges to the
global optimal solutions (in convex scenario) or the stationary points (in
non-convex scenario), but also promotes the sparsity of the solutions
substantially. Particularly, on a large number of convex problems, OBProx-SG
outperforms the existing methods comprehensively in the aspect of sparsity
exploration and objective values. Moreover, the experiments on non-convex deep
neural networks, e.g., MobileNetV1 and ResNet18, further demonstrate its
superiority by achieving the solutions of much higher sparsity without
sacrificing generalization accuracy.
- Abstract(参考訳): スパーシリティを誘発する正規化問題は、特徴選択からモデル圧縮まで、機械学習アプリケーションではユビキタスである。
本稿では,確率的手法であるorthant Based Proximal Stochastic Gradient Method (OBProx-SG)を提案する。
OBProx-SG法は2つのステップを含む。
i) 解の支持被覆を予測するための近位確率勾配ステップ,及び
(ii)顔投射を介して空間レベルを積極的に高めるためのオーサントステップ。
Prox-SG, RDA や Prox-SVRG のような最先端の手法と比較して、OBProx-SG は大域最適解(凸シナリオ)や定常点(凸でないシナリオ)に収束するだけでなく、解の空間性も著しく促進する。
特に、多数の凸問題において、OBProx-SGは、空間探索と目的値の観点から、既存の手法を総合的に上回ります。
さらに、MobileNetV1やResNet18のような非凸ディープニューラルネットワークの実験では、一般化精度を犠牲にすることなく、はるかに高い空間の解を達成することにより、その優位性を示す。
関連論文リスト
- Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。
本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。
2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
論文 参考訳(メタデータ) (2024-09-24T04:39:47Z) - Diffusion Stochastic Optimization for Min-Max Problems [33.73046548872663]
楽観的勾配法はミニマックス最適化問題に対処するのに有用である。
従来のバージョンでは大きなバッチサイズが必要であり,Samevareps-generativeOGOGと呼ばれる新しい定式化を導入,解析する。
論文 参考訳(メタデータ) (2024-01-26T01:16:59Z) - Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation
Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。
提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-12-19T14:48:54Z) - On the Convergence to a Global Solution of Shuffling-Type Gradient
Algorithms [18.663264755108703]
勾配降下アルゴリズム (SGD) は、多くの機械学習タスクにおいて選択の方法である。
本稿では,SGDが凸設定として望まれる計算一般複雑性を達成したことを示す。
論文 参考訳(メタデータ) (2022-06-13T01:25:59Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳(メタデータ) (2021-10-20T02:57:21Z) - A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。
PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文 参考訳(メタデータ) (2021-07-23T19:38:17Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳(メタデータ) (2021-07-02T16:21:52Z) - A Retrospective Approximation Approach for Smooth Stochastic
Optimization [0.2867517731896504]
グラディエント(グラディエント、英: Gradient、SG)とは、最適化(SO)問題をスムーズ(ノンフィクション)な目標値で解くための補足的反復手法である。
論文 参考訳(メタデータ) (2021-03-07T16:29:36Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Convergence Analysis of Homotopy-SGD for non-convex optimization [43.71213126039448]
ホモトピー法とSGDを組み合わせた一階述語アルゴリズム、Gradienty-Stoch Descent (H-SGD)を提案する。
いくつかの仮定の下で、提案した問題の理論的解析を行う。
実験の結果,H-SGDはSGDより優れていた。
論文 参考訳(メタデータ) (2020-11-20T09:50:40Z) - An adaptive stochastic gradient-free approach for high-dimensional
blackbox optimization [0.0]
本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。
本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
論文 参考訳(メタデータ) (2020-06-18T22:47:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。