論文の概要: WEEP: A Differentiable Nonconvex Sparse Regularizer via Weakly-Convex Envelope

• arxiv url: http://arxiv.org/abs/2507.20447v1
• Date: Mon, 28 Jul 2025 00:40:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:57.756237
• Title: WEEP: A Differentiable Nonconvex Sparse Regularizer via Weakly-Convex Envelope
• Title（参考訳）: WEEP:弱凸エンベロープによる微分可能な非凸スパース正規化器
• Authors: Takanobu Furuhashi, Hidekata Hontani, Tatsuya Yokota,
• Abstract要約: スパース正則化は、効率的な信号回復と特徴抽出のための信号処理において基礎となる。 本稿では, 軽度刑罰の新たな形態として, 弱度刑罰の封筒について述べる。 確立された計算トラクタビリティよりも優れた性能と優れた画像デノイングを示す。
• 参考スコア（独自算出の注目度）: 6.2573333363884425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse regularization is fundamental in signal processing for efficient signal recovery and feature extraction. However, it faces a fundamental dilemma: the most powerful sparsity-inducing penalties are often non-differentiable, conflicting with gradient-based optimizers that dominate the field. We introduce WEEP (Weakly-convex Envelope of Piecewise Penalty), a novel, fully differentiable sparse regularizer derived from the weakly-convex envelope framework. WEEP provides strong, unbiased sparsity while maintaining full differentiability and L-smoothness, making it natively compatible with any gradient-based optimizer. This resolves the conflict between statistical performance and computational tractability. We demonstrate superior performance compared to the L1-norm and other established non-convex sparse regularizers on challenging signal and image denoising tasks.
• Abstract（参考訳）: スパース正則化は、効率的な信号回復と特徴抽出のための信号処理において基礎となる。 しかし、それは基本的なジレンマに直面している: 最も強力なスパシティを誘発するペナルティは、しばしば微分不可能であり、フィールドを支配している勾配ベースのオプティマイザと矛盾する。 本稿では,弱凸封筒フレームワークから派生した,完全微分可能なスパース正規化器WEEP(Weakly-convex Envelope of Piecewise Penalty)を紹介する。 WEEPは、完全な微分可能性とL-スムース性を維持しながら、強く、偏りのない空間を提供し、任意の勾配ベースのオプティマイザとネイティブに互換性がある。 これは統計的性能と計算的トラクタビリティの矛盾を解消する。 本稿では,L1-norm や他の非凸スパース正規化器と比較して,課題信号や画像のデノゲーションタスクにおいて優れた性能を示す。

関連論文リスト

• Efficient Differentiable Approximation of Generalized Low-rank Regularization [64.73416824444328]
  低ランク正規化(LRR)は様々な機械学習タスクに広く応用されている。 本稿では,LRRの効率的な微分可能近似を提案する。
  論文  参考訳（メタデータ） (2025-05-21T11:49:17Z)
• MARINA-P: Superior Performance in Non-smooth Federated Optimization with Adaptive Stepsizes [57.24311218570012]
  EF21-P (匿名2024) と MARINA-P (arXiv:2402.06412) の非滑らか凸理論を非サイズ凸設定で拡張する。 我々は、定数、減少、適応(aktype)ステップの理論的保証を提供する。
  論文  参考訳（メタデータ） (2024-12-22T16:18:34Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence [25.717501580080846]
  本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。 トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T17:56:49Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Semi-Sparsity for Smoothing Filters [1.1404527665142667]
  本稿では,新しい疎度誘導フレームワークに基づく半疎度平滑化アルゴリズムを提案する。 我々は、一連の信号/画像処理とコンピュータビジョンアプリケーションに多くの利点を示す。
  論文  参考訳（メタデータ） (2021-07-01T17:31:42Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)
• The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization [0.0]
  ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。 提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。 本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
  論文  参考訳（メタデータ） (2020-06-08T03:35:41Z)
• Distributionally Robust Bayesian Optimization [121.71766171427433]
  そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。 提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。 提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。