論文の概要: Sparsity via Sparse Group $k$-max Regularization

• arxiv url: http://arxiv.org/abs/2402.08493v1
• Date: Tue, 13 Feb 2024 14:41:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 15:04:57.324505
• Title: Sparsity via Sparse Group $k$-max Regularization
• Title（参考訳）: Sparsity via Sparse Group $k$-max Regularization
• Authors: Qinghua Tao, Xiangming Xi, Jun Xu and Johan A.K. Suykens
• Abstract要約: 本稿では,新規かつ簡潔な正規化,すなわちスパース群$k$-max正規化を提案する。 提案手法の有効性と柔軟性を,合成データセットと実世界のデータセットの数値実験により検証する。
• 参考スコア（独自算出の注目度）: 22.05774771336432
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: For the linear inverse problem with sparsity constraints, the $l_0$ regularized problem is NP-hard, and existing approaches either utilize greedy algorithms to find almost-optimal solutions or to approximate the $l_0$ regularization with its convex counterparts. In this paper, we propose a novel and concise regularization, namely the sparse group $k$-max regularization, which can not only simultaneously enhance the group-wise and in-group sparsity, but also casts no additional restraints on the magnitude of variables in each group, which is especially important for variables at different scales, so that it approximate the $l_0$ norm more closely. We also establish an iterative soft thresholding algorithm with local optimality conditions and complexity analysis provided. Through numerical experiments on both synthetic and real-world datasets, we verify the effectiveness and flexibility of the proposed method.
• Abstract（参考訳）: スパーシティ制約を持つ線形逆問題に対して、$l_0$正規化問題はNPハードであり、既存のアプローチでは、ほぼ最適解を見つけるためにグリーディアルゴリズムを利用するか、その凸問題と$l_0$正規化を近似する。 本稿では,グループ内およびグループ内スパース性が同時に向上するだけでなく,各グループにおける変数の大きさに対する付加的な制限も与えず,異なるスケールの変数に対して特に重要であることから,l_0$ノルムをより密接に近似する,新しいかつ簡潔な正規化,すなわちスパース群 $k$-max 正規化を提案する。 また,局所最適条件と複雑性解析を備えた反復型ソフトしきい値アルゴリズムを構築した。 合成データと実世界のデータの両方について数値実験を行い,提案手法の有効性と柔軟性を検証する。

関連論文リスト

• Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences [49.853843995972085]
  経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。 関数の特定の選択に対する解の例は、$f$である。
  論文  参考訳（メタデータ） (2024-02-01T11:12:00Z)
• A unified consensus-based parallel ADMM algorithm for high-dimensional regression with combined regularizations [3.280169909938912]
  並列交互乗算器 (ADMM) は大規模分散データセットの処理に有効であることが広く認識されている。 提案アルゴリズムは,財務事例の信頼性,安定性,スケーラビリティを示す。
  論文  参考訳（メタデータ） (2023-11-21T03:30:38Z)
• Variance Reduced Halpern Iteration for Finite-Sum Monotone Inclusions [18.086061048484616]
  平衡問題の幅広いクラスをモデル化した有限サム単調包含問題について検討する。 我々の主な貢献は、複雑性の保証を改善するために分散還元を利用する古典的ハルパーン反復の変種である。 我々は、この複雑さが単調なリプシッツ設定では改善できないと論じる。
  論文  参考訳（メタデータ） (2023-10-04T17:24:45Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
  一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。 適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。 決定集合の低次元構造を高次元問題に活用する。
  論文  参考訳（メタデータ） (2022-11-21T18:31:43Z)
• Random Manifold Sampling and Joint Sparse Regularization for Multi-label Feature Selection [0.0]
  本稿では,$ell_2,1$および$ell_F$正規化の連立制約付き最適化問題を解くことで,最も関連性の高いいくつかの特徴を得ることができる。 実世界のデータセットの比較実験により,提案手法が他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-13T15:06:12Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Exclusive Group Lasso for Structured Variable Selection [10.86544864007391]
  構造化変数選択問題を考える。 合成ノルムは、そのような排他的グループ空間パターンを促進するために適切に設計することができる。 構造原子を推定された支持体に含めて解を構築する能動集合アルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-08-23T16:55:13Z)
• Randomized Stochastic Variance-Reduced Methods for Stochastic Bilevel Optimization [62.87181271021217]
  機械学習に多くの応用がある非SBO問題を考察する。 本稿では,非SBO問題に対する高速ランダム化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-05T18:28:42Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。