論文の概要: Proximal Operators of Sorted Nonconvex Penalties

• arxiv url: http://arxiv.org/abs/2506.15315v1
• Date: Wed, 18 Jun 2025 09:44:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.624953
• Title: Proximal Operators of Sorted Nonconvex Penalties
• Title（参考訳）: Sorted Nonconvex Penalties の近位演算子
• Authors: Anne Gagneux, Mathurin Massias, Emmanuel Soubies,
• Abstract要約: 本稿では,Adjacent ViolatorsPAVアルゴリズムが近似演算子を正確に計算する方法を示す。 また、非近位近位問題の解法に関する新たな理論的知見も提示する。
• 参考スコア（独自算出の注目度）: 8.121488821215793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work studies the problem of sparse signal recovery with automatic grouping of variables. To this end, we investigate sorted nonsmooth penalties as a regularization approach for generalized linear models. We focus on a family of sorted nonconvex penalties which generalizes the Sorted L1 Norm (SLOPE). These penalties are designed to promote clustering of variables due to their sorted nature, while the nonconvexity reduces the shrinkage of coefficients. Our goal is to provide efficient ways to compute their proximal operator, enabling the use of popular proximal algorithms to solve composite optimization problems with this choice of sorted penalties. We distinguish between two classes of problems: the weakly convex case where computing the proximal operator remains a convex problem, and the nonconvex case where computing the proximal operator becomes a challenging nonconvex combinatorial problem. For the weakly convex case (e.g. sorted MCP and SCAD), we explain how the Pool Adjacent Violators (PAV) algorithm can exactly compute the proximal operator. For the nonconvex case (e.g. sorted Lq with q in ]0,1[), we show that a slight modification of this algorithm turns out to be remarkably efficient to tackle the computation of the proximal operator. We also present new theoretical insights on the minimizers of the nonconvex proximal problem. We demonstrate the practical interest of using such penalties on several experiments.
• Abstract（参考訳）: 本研究では,変数の自動グループ化によるスパース信号回復問題について検討する。 そこで本研究では,一般化線形モデルに対する正規化手法として,非平滑化ペナルティのソートについて検討する。 我々は, Sorted L1 Norm (SLOPE) を一般化した, 選別された非凸ペナルティの族に焦点をあてる。 これらの罰則は、そのソートされた性質のために変数のクラスタリングを促進するために設計されており、非凸性は係数の縮小を減少させる。 我々のゴールは、近位演算子の効率的な計算方法を提供することであり、人気のある近位アルゴリズムを用いることで、このソートされたペナルティを選択することで、合成最適化問題を解くことができる。 近位演算子の計算が凸問題のままである弱凸問題と、近位演算子の計算が困難な非凸組合せ問題となる非凸問題とを区別する。 弱凸の場合(例えば MCP と SCAD をソート)では、プール・アジャセント・ヴァイオレータ (PAV) アルゴリズムが近似演算子を正確に計算する方法について説明する。 非凸の場合 (e g sorted Lq with q in ]0,1[) に対し、このアルゴリズムのわずかな修正は、近似作用素の計算に取り組むのに極めて効率的であることが示されている。 また、非凸近位問題の最小化に関する新たな理論的知見も提示する。 いくつかの実験でこのような罰則を使うことの実践的関心を示す。

関連論文リスト

• Single-loop Algorithms for Stochastic Non-convex Optimization with Weakly-Convex Constraints [49.76332265680669]
  本稿では、目的関数と制約関数の両方が弱凸である問題の重要な部分集合について検討する。 既存の手法では、収束速度の遅さや二重ループ設計への依存など、しばしば制限に直面している。 これらの課題を克服するために,新しい単一ループペナルティに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-21T17:15:48Z)
• Pathwise optimization for bridge-type estimators and its applications [49.1574468325115]
  パスワイズ法は、ペナライズされた推定器の完全な経路を効率的に計算することができる。 これらのアルゴリズムを離散時間で観測されたプロセスのペナル化推定に適用する。
  論文  参考訳（メタデータ） (2024-12-05T10:38:29Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Learning distributed representations with efficient SoftMax normalization [3.8673630752805437]
  有界ノルムを持つ埋め込みベクトルに対して$rm SoftMax(XYT)$の正規化定数を計算する線形時間近似を提案する。 本稿では,提案手法が競合手法よりも高い精度あるいは同等の精度を達成できるような事前学習した埋め込みデータセットについて述べる。 提案アルゴリズムは解釈可能で,任意の埋め込み問題に容易に適応できる。
  論文  参考訳（メタデータ） (2023-03-30T15:48:26Z)
• Fast, Differentiable and Sparse Top-k: a Convex Analysis Perspective [21.6146047576295]
  トップk演算子はスパースベクトルを返し、非ゼロ値は入力の k 最大の値に対応する。 我々はトップk作用素を、置換の凸包であるペルムタヘドロン上の線形プログラムとみなす。 私たちのフレームワークは既存のフレームワークよりもはるかに汎用的であり、例えば、大まかに値を選択するトップk演算子を表現できる。
  論文  参考訳（メタデータ） (2023-02-02T21:32:13Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
  予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。 本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。 本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-04T00:26:56Z)
• Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax Problems [26.24895953952318]
  我々は,非ガンスミニマックス問題のクラスを解くアルゴリズムを開発した。 また、単一または2つのミニバッチ誘導体でも機能する。
  論文  参考訳（メタデータ） (2020-06-27T03:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。