論文の概要: Coordinate Descent for SLOPE

• arxiv url: http://arxiv.org/abs/2210.14780v1
• Date: Wed, 26 Oct 2022 15:20:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 15:52:20.400212
• Title: Coordinate Descent for SLOPE
• Title（参考訳）: SLOPEのためのコーディネートダイス
• Authors: Johan Larsson, Quentin Klopfenstein, Mathurin Massias, Jonas Wallin
• Abstract要約: SLOPE(Sorted L-One Penalized Estimation, SLOPE)は、ラッソの一般化であり、統計的に魅力的な性質を持つ。 SLOPEに適合する現在のソフトウェアパッケージは、高次元において性能の悪いアルゴリズムに依存している。 近似勾配降下と近似座標降下ステップを組み合わせたSLOPE最適化問題を高速に解くアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.838073951329198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The lasso is the most famous sparse regression and feature selection method. One reason for its popularity is the speed at which the underlying optimization problem can be solved. Sorted L-One Penalized Estimation (SLOPE) is a generalization of the lasso with appealing statistical properties. In spite of this, the method has not yet reached widespread interest. A major reason for this is that current software packages that fit SLOPE rely on algorithms that perform poorly in high dimensions. To tackle this issue, we propose a new fast algorithm to solve the SLOPE optimization problem, which combines proximal gradient descent and proximal coordinate descent steps. We provide new results on the directional derivative of the SLOPE penalty and its related SLOPE thresholding operator, as well as provide convergence guarantees for our proposed solver. In extensive benchmarks on simulated and real data, we show that our method outperforms a long list of competing algorithms.
• Abstract（参考訳）: ラッソは、最も有名なスパース回帰と特徴選択法である。 その人気の一つは、基礎となる最適化問題を解くことができる速度である。 sorted l-one penalized estimation (slope) はラッソの一般化であり、統計特性に優れている。 それにもかかわらず、この方法はまだ広く関心を集めていない。 主な理由は、SLOPEに適合する現在のソフトウェアパッケージは、高次元において性能の悪いアルゴリズムに依存しているためである。 そこで本研究では,SLOPE最適化問題の解法として,近位勾配降下と近位座標降下を併用した新しい高速アルゴリズムを提案する。 我々は,SLOPEペナルティとその関連SLOPEしきい値演算子の方向性微分に関する新たな結果と,提案した解法に対する収束保証を提供する。 シミュレーションおよび実データに関する広範なベンチマークでは,提案手法が競合するアルゴリズムの長いリストより優れていることを示す。

関連論文リスト

• Effectively Leveraging Momentum Terms in Stochastic Line Search Frameworks for Fast Optimization of Finite-Sum Problems [0.5156484100374059]
  過度にパラメータ化された状態における深度最適化のための最近の線探索手法と運動量方向との関係について検討する。 モーメントパラメータの定義にデータ持続性、共役型ルールの混合を利用するアルゴリズムを導入する。 結果のアルゴリズムは、他の一般的な手法よりも優れていることを実証的に示している。
  論文  参考訳（メタデータ） (2024-11-11T16:26:33Z)
• Sparsity-Constraint Optimization via Splicing Iteration [1.3622424109977902]
  我々は sPlicing itEration (SCOPE) を用いたスペーサリティ制約最適化アルゴリズムを開発した。 SCOPEはパラメータをチューニングせずに効率的に収束する。 SCOPEを用いて2次最適化を解き、スパース分類器を学習し、バイナリ変数のスパースマルコフネットワークを復元する。 C++実装に基づいたオープンソースのPythonパッケージskscopeがGitHubで公開されている。
  論文  参考訳（メタデータ） (2024-06-17T18:34:51Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• A Survey of Numerical Algorithms that can Solve the Lasso Problems [2.538209532048867]
  統計学において、最小絶対収縮・選択演算子 (Lasso) は、変分選択と正則化の両方を実行する回帰法である。 ラッソにおける目的関数を最適化する5つの代表アルゴリズムを要約する。
  論文  参考訳（メタデータ） (2023-03-07T01:12:59Z)
• The Curse of Unrolling: Rate of Differentiating Through Optimization [35.327233435055305]
  未分化は反復解法を用いて解を近似し、計算経路を通して解を微分する。 我々は,(1)高速収束につながる大きな学習率を選択することができるが,アルゴリズムが任意に長いバーンインフェーズを持つことを受け入れるか,あるいは(2)即時収束につながるより少ない学習率を選択するかのどちらかを示す。
  論文  参考訳（メタデータ） (2022-09-27T09:27:29Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• An Asymptotically Optimal Primal-Dual Incremental Algorithm for Contextual Linear Bandits [129.1029690825929]
  複数の次元に沿った最先端技術を改善する新しいアルゴリズムを提案する。 非文脈線形帯域の特別な場合において、学習地平線に対して最小限の最適性を確立する。
  論文  参考訳（メタデータ） (2020-10-23T09:12:47Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• Accelerated Message Passing for Entropy-Regularized MAP Inference [89.15658822319928]
  離散値のランダムフィールドにおけるMAP推論の最大化は、機械学習の基本的な問題である。 この問題の難しさから、特殊メッセージパッシングアルゴリズムの導出には線形プログラミング(LP)緩和が一般的である。 古典的加速勾配の根底にある手法を活用することにより,これらのアルゴリズムを高速化するランダム化手法を提案する。
  論文  参考訳（メタデータ） (2020-07-01T18:43:32Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。