論文の概要: Sharp Trade-Offs in High-Dimensional Inference via 2-Level SLOPE

• arxiv url: http://arxiv.org/abs/2507.09110v1
• Date: Sat, 12 Jul 2025 01:57:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:22.456039
• Title: Sharp Trade-Offs in High-Dimensional Inference via 2-Level SLOPE
• Title（参考訳）: 2レベルSLOPEによる高次元推論におけるシャープトレードオフ
• Authors: Zhiqi Bu, Jason M. Klusowski, Cynthia Rush, Ruijia Wu,
• Abstract要約: 2レベルSLOPEは、LASSOと一般SLOPEの両方に対して、堅牢でスケーラブルな代替手段を提供する。 以上の結果から,2レベルSLOPEはLASSOと一般SLOPEの双方に対して,堅牢でスケーラブルな代替手段である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 20.580487867158364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Among techniques for high-dimensional linear regression, Sorted L-One Penalized Estimation (SLOPE) generalizes the LASSO via an adaptive $l_1$ regularization that applies heavier penalties to larger coefficients in the model. To achieve such adaptivity, SLOPE requires the specification of a complex hierarchy of penalties, i.e., a monotone penalty sequence in $R^p$, in contrast to a single penalty scalar for LASSO. Tuning this sequence when $p$ is large poses a challenge, as brute force search over a grid of values is computationally prohibitive. In this work, we study the 2-level SLOPE, an important subclass of SLOPE, with only three hyperparameters. We demonstrate both empirically and analytically that 2-level SLOPE not only preserves the advantages of general SLOPE -- such as improved mean squared error and overcoming the Donoho-Tanner power limit -- but also exhibits computational benefits by reducing the penalty hyperparameter space. In particular, we prove that 2-level SLOPE admits a sharp, theoretically tight characterization of the trade-off between true positive proportion (TPP) and false discovery proportion (FDP), contrasting with general SLOPE where only upper and lower bounds are known. Empirical evaluations further underscore the effectiveness of 2-level SLOPE in settings where predictors exhibit high correlation, when the noise is large, or when the underlying signal is not sparse. Our results suggest that 2-level SLOPE offers a robust, scalable alternative to both LASSO and general SLOPE, making it particularly suited for practical high-dimensional data analysis.
• Abstract（参考訳）: 高次元線形回帰法のうち、Sorted L-One Penalized Estimation (SLOPE) は、モデルのより大きな係数に重いペナルティを適用する適応的な$l_1$正規化によってLASSOを一般化する。 このような適応性を達成するために、SLOPEは、LASSOの単一ペナルティスカラーとは対照的に、複雑なペナルティ階層、すなわち$R^p$のモノトンペナルティシーケンスの仕様を必要とする。 p$が大きければ、このシーケンスをチューニングすることは、値のグリッド上のブルートフォースサーチが計算的に禁止されるため、課題となる。 本研究では,SLOPEの重要なサブクラスである2レベルSLOPEについて検討する。 実験的にも解析的にも、2レベルSLOPEは平均二乗誤差の改善やDonoho-Tannerパワー限界の克服など、一般的なSLOPEの利点を保っているだけでなく、ペナルティハイパーパラメータ空間の削減による計算上のメリットも示している。 特に, 2レベルSLOPEは, 真正比 (TPP) と偽発見比 (FDP) のトレードオフを, 上界と下界のみが知られている一般SLOPEとは対照的に, 鋭く, 理論的に厳密に評価できることを示した。 実験的な評価は、ノイズが大きい場合や、基礎となる信号がスパースでない場合、予測器が高い相関を示す設定における2レベルSLOPEの有効性をさらに強調する。 以上の結果から,2レベルSLOPEはLASSOと一般SLOPEの双方に対して,堅牢でスケーラブルな代替手段であり,実用的な高次元データ解析に特に適していることが示唆された。

関連論文リスト

• Stochastic Weakly Convex Optimization Under Heavy-Tailed Noises [55.43924214633558]
  本稿では,サブワイブルノイズとSsBCノイズの2種類のノイズに着目した。 これら2つのノイズ仮定の下では、凸最適化と滑らかな最適化の文脈において、SFOMの不規則および高確率収束が研究されている。
  論文  参考訳（メタデータ） (2025-07-17T16:48:45Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise [60.17850744118546]
  Clip-SGDのようなクリッピングを持つ一階法は、$(L_$1)$-smoothnessの仮定の下でSGDよりも強い収束保証を示す。 Clip-SGD の高確率収束バウンダリを凸 $(L_$1)$-smooth の重み付き雑音による最適化に適用した最初の高確率収束バウンダリを確立する。
  論文  参考訳（メタデータ） (2025-05-27T07:23:42Z)
• MaxSup: Overcoming Representation Collapse in Label Smoothing [52.66247931969715]
  ラベル平滑化(LS)は、ニューラルネットワーク予測における過信を減らすために広く採用されている。 LSコンパクトは、過剰に厳密なクラスタに表現を特徴付け、クラス内の多様性を希薄にする。 正しい予測と誤予測の両方に一様正則化を適用するMax Suppression(MaxSup)を提案する。
  論文  参考訳（メタデータ） (2025-02-18T20:10:34Z)
• Mean-Field Langevin Dynamics for Signed Measures via a Bilevel Approach [4.577104493960515]
  平均場ランゲヴィン力学(英: Mean-field Langevin dynamics、MLFD)は、多様体上の確率測度に対する凸最適化に取り組む相互作用粒子法の一種。 我々は,MFLDフレームワークを拡張して,符号付き測度よりも最適化問題を凸化する方法を示す。
  論文  参考訳（メタデータ） (2024-06-24T18:15:12Z)
• A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized Linear Models [33.36787620121057]
  ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。 私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。 ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
  論文  参考訳（メタデータ） (2022-10-21T16:16:55Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Characterizing the SLOPE Trade-off: A Variational Perspective and the Donoho-Tanner Limit [29.344264789740894]
  sorted l1 regularizationは高次元統計的推定問題の解法として多くの方法に取り入れられている。 本手法は,FDP(False discovery proportion)と真正比( true positive proportion, TPP)の最適SLOPEトレードオフを特徴付けることにより,変数選択をいかに改善するかを示す。
  論文  参考訳（メタデータ） (2021-05-27T16:56:42Z)
• Efficient Designs of SLOPE Penalty Sequences in Finite Dimension [5.787117733071415]
  線形回帰では、SLOPEはL1ペナルティをソートしてラッソを一般化する新しい凸解析法である。 本稿では,高次元SLOPEペナルティを設計するための2つの効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-14T18:06:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。