論文の概要: Solution-Set Geometry and Regularization Path of a Nonconvexly Regularized Convex Sparse Model
- arxiv url: http://arxiv.org/abs/2311.18438v2
- Date: Fri, 22 Mar 2024 13:26:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 03:58:36.738276
- Title: Solution-Set Geometry and Regularization Path of a Nonconvexly Regularized Convex Sparse Model
- Title(参考訳): 非凸正則凸スパースモデルの解集合幾何学と正則化経路
- Authors: Yi Zhang, Isao Yamada,
- Abstract要約: オズボーン一般化ミニマックス幾何学のペナルティ(Osborne generalized minimax geometry penalty)は、正規化された経路の全体二乗性を保存することができる非一意性解である。
LASSOと同様、最小$ell$-norm正規化は、$lambda$.continuouswiseで連続的であることを示す。
- 参考スコア(独自算出の注目度): 8.586951231230596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The generalized minimax concave (GMC) penalty is a nonconvex sparse regularizer which can preserve the overall-convexity of the regularized least-squares problem. In this paper, we focus on a significant instance of the GMC model termed scaled GMC (sGMC), and present various notable findings on its solution-set geometry and regularization path. Our investigation indicates that while the sGMC penalty is a nonconvex extension of the LASSO penalty (i.e., the $\ell_1$-norm), the sGMC model preserves many celebrated properties of the LASSO model, hence can serve as a less biased surrogate of LASSO without losing its advantages. Specifically, for a fixed regularization parameter $\lambda$, we show that the solution-set geometry, solution uniqueness and sparseness of the sGMC model can be characterized in a similar elegant way to the LASSO model (see, e.g., Osborne et al. 2000, R. J. Tibshirani 2013). For a varying $\lambda$, we prove that the sGMC solution set is a continuous polytope-valued mapping of $\lambda$. Most noticeably, our study indicates that similar to LASSO, the minimum $\ell_2$-norm regularization path of the sGMC model is continuous and piecewise linear in $\lambda$. Based on these theoretical results, an efficient regularization path algorithm is proposed for the sGMC model, extending the well-known least angle regression (LARS) algorithm for LASSO. We prove the correctness and finite termination of the proposed algorithm under a mild assumption, and confirm its correctness-in-general-situation, efficiency, and practical utility through numerical experiments. Many results in this study also contribute to the theoretical research of LASSO.
- Abstract(参考訳): 一般化ミニマックス・コンケーブ(GMC)ペナルティは、非凸スパース正規化器であり、正規化最小二乗問題の全体凸性を維持することができる。
本稿では,スケールドGCC(sGMC)と呼ばれるGMCモデルの重要な事例に着目し,その解集合幾何と正規化経路について,様々な顕著な知見を示す。
本研究は, sGMCペナルティがLASSOペナルティの非凸拡大(すなわち$\ell_1$-norm)であるのに対して, sGMCモデルはLASSOモデルの多くの有望な特性を保ち, その利点を損なうことなく, LASSOの非凸拡大として機能することを示唆している。
具体的には、固定正則化パラメータ $\lambda$ に対して、sGMCモデルの解集合幾何学、解の一意性、スパース性はLASSOモデルと同様のエレガントな方法で特徴づけられることを示す(例:Osborne et al 2000, R. J. Tibshirani 2013)。
様々な$\lambda$に対して、sGMC の解集合が $\lambda$ の連続ポリトープ値写像であることを証明する。
最も顕著な研究は、LASSO と同様、sGMC モデルの最小$\ell_2$-norm正規化パスは $\lambda$ において連続かつ断片線型であることを示している。
これらの理論的な結果に基づき、sGMCモデルに対して効率的な正規化パスアルゴリズムを提案し、LASSOのよく知られた最小角度回帰(LARS)アルゴリズムを拡張した。
本研究では,提案アルゴリズムの正しさと有限終了性を軽微な仮定で証明し,数値実験によりその正しさ,汎用性,有効性,実用性を確認した。
本研究の成果はLASSOの理論研究にも貢献している。
関連論文リスト
- Efficient Frameworks for Generalized Low-Rank Matrix Bandit Problems [61.85150061213987]
一般化線形モデル (GLM) フレームワークを用いて, citelu2021low で提案した一般化低ランク行列帯域問題について検討する。
既存のアルゴリズムの計算不可能性と理論的制約を克服するため,まずG-ESTTフレームワークを提案する。
G-ESTT は $tildeO(sqrt(d_1+d_2)3/2Mr3/2T)$ bound of regret を達成でき、G-ESTS は $tildeO を達成できることを示す。
論文 参考訳(メタデータ) (2024-01-14T14:14:19Z) - KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。
我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
論文 参考訳(メタデータ) (2022-05-27T19:39:24Z) - Spike-and-Slab Generalized Additive Models and Scalable Algorithms for
High-Dimensional Data [0.0]
本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。
曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。
2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
論文 参考訳(メタデータ) (2021-10-27T14:11:13Z) - Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free
Reinforcement Learning [52.76230802067506]
漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。
提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。
初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
論文 参考訳(メタデータ) (2021-10-09T21:13:48Z) - Structured Stochastic Gradient MCMC [20.68905354115655]
近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。
完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
論文 参考訳(メタデータ) (2021-07-19T17:18:10Z) - Consistency of regularized spectral clustering in degree-corrected mixed
membership model [1.0965065178451106]
正規化ラプラシア行列に基づく混合正規化スペクトルクラスタリング(Mixed-RSC,略してMixed-RSC)と呼ばれる効率的な手法を提案する。
混合RSCは、人口正規化ラプラシア行列の固有分解のための変種の理想的な錐構造に基づいて設計されている。
提案アルゴリズムは,各ノードの推定メンバシップベクトルに対する誤差境界を提供することにより,穏やかな条件下での整合性を示す。
論文 参考訳(メタデータ) (2020-11-23T02:30:53Z) - On the Adversarial Robustness of LASSO Based Feature Selection [72.54211869067979]
検討されたモデルでは、悪意のある敵がデータセット全体を観察し、レスポンス値やフィーチャーマトリックスを慎重に修正する。
両レベルの最適化問題として、敵の修正戦略を定式化する。
合成および実データを用いた数値的な例は,本手法が効率的かつ効果的であることを示している。
論文 参考訳(メタデータ) (2020-10-20T05:51:26Z) - Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal
Sample Complexity [67.02490430380415]
モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。
また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
論文 参考訳(メタデータ) (2020-07-15T03:25:24Z) - Effective Learning of a GMRF Mixture Model [8.336315962271396]
我々はGMMをガウスマルコフ確率場混合モデル(GMRF-MM)に限定することを提案する。
各行列の空間パターンが知られているとき、その行列の最大近似(MLE)の効率的な最適化法を提案する。
GMRFとGMRF-MMの両症例でGLASSOの「偏り」はGLASSOよりも優れていた。
論文 参考訳(メタデータ) (2020-05-18T19:00:14Z) - Adaptive Control and Regret Minimization in Linear Quadratic Gaussian
(LQG) Setting [91.43582419264763]
我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。
LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
論文 参考訳(メタデータ) (2020-03-12T19:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。