論文の概要: A knowledge-driven nonconvex square-root regularization framework for joint group sparsity and structured smoothness

• arxiv url: http://arxiv.org/abs/2610.35428v1
• Date: Mon, 26 Oct 2026 13:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.011976
• Title: A knowledge-driven nonconvex square-root regularization framework for joint group sparsity and structured smoothness
• Title（参考訳）: 知識駆動型非凸二乗根正規化フレームワークによる結合群間隔と構造的滑らか性
• Abstract要約: 構造化学習は高次元データモデリングの先駆的なパラダイムであり、ドメインに依存したグローバルな事前の厳密な統合を可能にする。
• 参考スコア（独自算出の注目度）: 4.162158824850089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured sparse learning is a leading paradigm for high-dimensional data modeling, as it enables rigorous integration of domain-validated structural priors into the learning process. Among these priors, pre-defined grouped structure and piecewise smoothness are ubiquitous in real-world applications. However, most existing structured regularization methods are built on squared loss and convex penalties, rarely jointly model these two complementary structural priors, and suffer from two key limitations. Their optimal tuning parameters are sensitive to the unknown noise level $σ$ due to the squared loss. Meanwhile, convex penalties induce inherent estimation bias and severe over-shrinkage of large magnitudes. To address these issues, we propose a knowledge-driven Nonconvex Structured Smooth Adjustment for Square-Root Regularization (NS$^3$R), which unifies the $σ$-free square-root loss with a joint nonconvex $\ell_{2,q}$ penalty ($0 < q < 1$) to simultaneously encode group sparsity and structured smoothness priors. Theoretically, we establish rigorous non-asymptotic error bounds for the NS$^3$R estimator under a mild $(2,q)$-group restricted compatibility condition. Computationally, we develop an efficient double-screened IRLS with thresholding (DS-IRLS-th) algorithm, which adopts a nested double-screening strategy to reduce computational cost and improve numerical stability, with provable global convergence for the resulting nonconvex optimization problem. Extensive experiments on synthetic and real-world data demonstrate that NS$^3$R consistently outperforms state-of-the-art methods in finite-sample settings.
• Abstract（参考訳）: 構造化スパース学習(Structured sparse learning)は、高次元データモデリングにおける主要なパラダイムである。 これらの先例の中で、事前定義された群構造と断片的滑らかさは現実世界の応用においてユビキタスである。 しかしながら、既存の構造的正規化手法の多くは、正方形損失と凸ペナルティに基づいて構築されており、これら2つの相補的な構造的先行を共同でモデル化することは稀であり、2つの重要な制限に悩まされる。 彼らの最適チューニングパラメータは、二乗損失のため未知のノイズレベル$σ$に敏感である。 一方、凸ペナルティは固有の推定バイアスと大規模な過収縮を引き起こす。 これらの問題に対処するために、知識駆動型非凸構造的正則化(NS$^3$R)を提案する。これは、群間隔と構造的滑らかさを同時に符号化するために、ジョイント非凸$\ell_{2,q}$ペナルティ(0 < q < 1$)と$σ$自由二乗根の損失を統一するものである。 理論的には、NS$^3$R推定器の厳密な非漸近誤差境界を、緩やかな$(2,q)$-group限定整合条件の下で確立する。 計算コストを削減し、数値安定性を向上させるため、ネストされた二重スクリーニング戦略を採用し、結果として生じる非凸最適化問題に対して、グローバル収束を証明できるような、しきい値付き効率的な二重スクリーンIRLS(DS-IRLS-th)アルゴリズムを開発した。 合成および実世界のデータに対する大規模な実験により、NS$^3$Rは有限サンプル設定における最先端の手法を一貫して上回ることを示した。

関連論文リスト

• Escaping the Variance Trap: Jacobian-Free Dynamics for Root-Finding Bilevel Optimization [16.106678611834102]
  多くの中央機械学習タスクは、最小化損失よりも根本問題である。 正方形残差は、私たちが変数トラップと同一視する重大な欠陥を導入します。 標準バイレベル最小化アルゴリズムは、暗黙のジャコビアンを含む過勾配を推定する必要がある。 我々は,2時間スケール近似(TTSA)を用いて,ルートエラーに沿って直接更新するヤコビフリーソリューションを提案する。
  論文  参考訳（メタデータ） (2026-06-21T10:53:32Z)
• Differentiable Sparsity via $D$-Gating: Simple and Versatile Structured Penalization [22.883367233817836]
  D$-Gatingは、理論上、元の群疎性問題の解法と等価であることを示す。 ビジョン、言語、タスクにまたがって私たちの理論を検証する。
  論文  参考訳（メタデータ） (2025-09-28T14:08:29Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization [68.22688819802622]
  我々は、(ほぼ)$レベルのKKTソリューションを見つけるために、$O(/epsilon)$の最先端の複雑さを新たに提案する。 O(/epsilon)$ の(ほぼ) $ レベルの KKT ソリューションを見つけるための技術的複雑さを適用することで、(ほぼ) $ レベルの KKT ソリューションを見つけるための $O(/epsilon)$ の最先端の複雑さを新たに達成する。
  論文  参考訳（メタデータ） (2025-06-03T06:31:59Z)
• Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients [27.433334322019675]
  Federated Learning (FL)は、クライアントが生データを共有せずに、協力的にモデルをトレーニングすることを可能にする。 FLはByzantine攻撃やデータ不均一性の反復に弱いため、パフォーマンスが著しく低下する可能性がある。 フェデレート正規化勾配アルゴリズム (Federated Normalized Gradients Algorithm, NGA) を提案する。 既存手法に対するベンチマーク収束の実験結果
  論文  参考訳（メタデータ） (2024-08-18T16:50:39Z)
• Gradient-Free Methods for Deterministic and Stochastic Nonsmooth Nonconvex Optimization [94.19177623349947]
  非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。 2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。 GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
  論文  参考訳（メタデータ） (2022-09-12T06:53:24Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。