論文の概要: A Fast Method for Lasso and Logistic Lasso
- arxiv url: http://arxiv.org/abs/2402.02463v1
- Date: Sun, 4 Feb 2024 12:24:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:22:32.100193
- Title: A Fast Method for Lasso and Logistic Lasso
- Title(参考訳): ラッソとロジスティックラッソの高速手法
- Authors: Siu-Wing Cheng, Man Ting Wong
- Abstract要約: 本稿では,圧縮センシング,ラッソ回帰,ロジスティックラッソ回帰問題を高速に解く手法を提案する。
我々は、複数の解決者の1回の呼び出しで大きなスピードアップを達成するアクティブセットを更新する戦略を設計する。
- 参考スコア(独自算出の注目度): 1.14219428942199
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We propose a fast method for solving compressed sensing, Lasso regression,
and Logistic Lasso regression problems that iteratively runs an appropriate
solver using an active set approach. We design a strategy to update the active
set that achieves a large speedup over a single call of several solvers,
including gradient projection for sparse reconstruction (GPSR), lassoglm of
Matlab, and glmnet. For compressed sensing, the hybrid of our method and GPSR
is 31.41 times faster than GPSR on average for Gaussian ensembles and 25.64
faster on average for binary ensembles. For Lasso regression, the hybrid of our
method and GPSR achieves a 30.67-fold average speedup in our experiments. In
our experiments on Logistic Lasso regression, the hybrid of our method and
lassoglm gives an 11.95-fold average speedup, and the hybrid of our method and
glmnet gives a 1.40-fold average speedup.
- Abstract(参考訳): 本研究では,圧縮センシング,ラッソ回帰,ロジスティックラッソ回帰問題の高速解法を提案する。
我々は,sparse reconstruction(gpsr)の勾配投影,matlabのlassoglm,glmnetなど,複数のソルバの単一の呼び出しに対して大きな速度アップを実現するアクティブセットを更新するための戦略を設計する。
圧縮センシングでは,GPSRとGPSRのハイブリッドはガウスアンサンブルでは平均31.41倍,バイナリアンサンブルでは平均25.64倍である。
ラッソ回帰の場合、我々の手法とGPSRのハイブリッドは実験で平均30.67倍のスピードアップを達成する。
我々のロジスティックラッソ回帰実験では、本手法とlassoglmのハイブリッドは平均11.95倍のスピードアップを示し、本手法とglmnetのハイブリッドは1.40倍のスピードアップを与える。
関連論文リスト
- DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。
遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
論文 参考訳(メタデータ) (2024-03-25T22:49:56Z) - Convex Relaxations of ReLU Neural Networks Approximate Global Optima in
Polynomial Time [54.01594785269913]
本稿では, 重み劣化と凸緩和に則った2層ReLUネットワーク間の最適性ギャップについて述べる。
トレーニングデータがランダムである場合、元の問題と緩和の間の相対的な最適性ギャップは、サンプルの勾配によって境界付けられることを示す。
論文 参考訳(メタデータ) (2024-02-06T01:29:35Z) - Fast, Scalable, Warm-Start Semidefinite Programming with Spectral
Bundling and Sketching [53.91395791840179]
我々は、大規模なSDPを解くための、証明可能な正確で高速でスケーラブルなアルゴリズムであるUnified Spectral Bundling with Sketching (USBS)を提案する。
USBSは、20億以上の決定変数を持つインスタンス上で、最先端のスケーラブルなSDP解決器よりも500倍のスピードアップを提供する。
論文 参考訳(メタデータ) (2023-12-19T02:27:22Z) - A Survey of Numerical Algorithms that can Solve the Lasso Problems [2.538209532048867]
統計学において、最小絶対収縮・選択演算子 (Lasso) は、変分選択と正則化の両方を実行する回帰法である。
ラッソにおける目的関数を最適化する5つの代表アルゴリズムを要約する。
論文 参考訳(メタデータ) (2023-03-07T01:12:59Z) - A flexible empirical Bayes approach to multiple linear regression and
connections with penalized regression [9.464057682692594]
大規模多重回帰に対する新しい経験的ベイズ手法を提案する。
提案手法は2つの主要な概念を組み合わせる: (i) 正規分布のスケール混合の非適応的な族を近似したフレキシブルな「パラメトリック収縮」事前の使用。
提案手法の後方平均値は, ペナル化回帰問題の解法として解釈できることを示す。
論文 参考訳(メタデータ) (2022-08-23T12:42:57Z) - FKreg: A MATLAB toolbox for fast Multivariate Kernel Regression [5.090316990822874]
非一様FFT(NUFFT)を用いた高速多変量カーネル回帰のための新しいツールボックスを提案する。
NUFFTは$Oleft(N+Mlog M right)$複雑さと精度制御性を備えた$M$グリッドポイントのアルゴリズムを実装している。
帯域幅選択問題は、Fast Monte-Carloを用いて自由度を推定する。
論文 参考訳(メタデータ) (2022-04-16T04:52:44Z) - Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。
本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。
次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
論文 参考訳(メタデータ) (2021-09-26T19:56:45Z) - Non-Asymptotic Analysis of Stochastic Approximation Algorithms for
Streaming Data [0.0]
ストリーミングフレームワークは、時系列に現れる時間変化のミニバッチを使用して最適化問題を解決するのに類似している。
我々は、様々な勾配に基づくアルゴリズムの漸近収束率を提供する。
時間変化したミニバッチに応じて学習率を選択して収束を加速する方法を示す。
論文 参考訳(メタデータ) (2021-09-15T06:58:23Z) - AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax
Optimization [104.96004056928474]
本稿では,非コンケーブ最小値問題に対する高速適応勾配降下法を提案する。
我々は,本手法が,ミニバッチサイズが$O(kappa2.5epsilon-3)$のより低いサンプル複雑性に達することを示す。
論文 参考訳(メタデータ) (2021-06-30T14:47:09Z) - BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
バイレベル最適化は多くの応用のために機械学習への関心が高まっている。
制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
論文 参考訳(メタデータ) (2021-06-21T20:16:40Z) - Momentum-inspired Low-Rank Coordinate Descent for Diagonally Constrained
SDPs [12.7944665592057]
本稿では,制約付き半有限計画法(SDP)を高速化した非自明なプログラムを用いて大規模に解くための,新しい,実用的で証明可能なアプローチを提案する。
論文 参考訳(メタデータ) (2021-06-16T13:35:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。