論文の概要: Heavy Lasso: sparse penalized regression under heavy-tailed noise via data-augmented soft-thresholding

• arxiv url: http://arxiv.org/abs/2506.07790v1
• Date: Mon, 09 Jun 2025 14:13:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.989352
• Title: Heavy Lasso: sparse penalized regression under heavy-tailed noise via data-augmented soft-thresholding
• Title（参考訳）: 重ラッソ:データ強化ソフトスレッショニングによる重テール雑音下でのスパースペナル化レグレッション
• Authors: The Tien Mai,
• Abstract要約: 本稿では,学生のt分布にインスパイアされた損失関数をラッソのペナル化フレームワークに組み込んだ,新しいロバスト回帰手法を提案する。 この損失は、小さな残留物に対して望ましい二次的挙動を維持しながら、大きな偏差を適応的に下降させ、重み付きノイズや外れ値に対するロバスト性を高める。 当社のメソッドは,Githubで公開されているRパッケージのヘビーラッソに実装されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: High-dimensional linear regression is a fundamental tool in modern statistics, particularly when the number of predictors exceeds the sample size. The classical Lasso, which relies on the squared loss, performs well under Gaussian noise assumptions but often deteriorates in the presence of heavy-tailed errors or outliers commonly encountered in real data applications such as genomics, finance, and signal processing. To address these challenges, we propose a novel robust regression method, termed Heavy Lasso, which incorporates a loss function inspired by the Student's t-distribution within a Lasso penalization framework. This loss retains the desirable quadratic behavior for small residuals while adaptively downweighting large deviations, thus enhancing robustness to heavy-tailed noise and outliers. Heavy Lasso enjoys computationally efficient by leveraging a data augmentation scheme and a soft-thresholding algorithm, which integrate seamlessly with classical Lasso solvers. Theoretically, we establish non-asymptotic bounds under both $\ell_1$ and $\ell_2 $ norms, by employing the framework of localized convexity, showing that the Heavy Lasso estimator achieves rates comparable to those of the Huber loss. Extensive numerical studies demonstrate Heavy Lasso's superior performance over classical Lasso and other robust variants, highlighting its effectiveness in challenging noisy settings. Our method is implemented in the R package heavylasso available on Github.
• Abstract（参考訳）: 高次元線形回帰は、特に予測器の数がサンプルサイズを超えた場合、現代統計学における基本的なツールである。 古典的なラッソは二乗損失に依存するが、ガウスのノイズ仮定の下ではよく機能するが、しばしばゲノミクス、ファイナンス、信号処理のような実際のデータアプリケーションでよく見られる重み付きエラーや外れ値の存在によって悪化する。 これらの課題に対処するため,我々は「重ラッソ」と呼ばれる新しい頑健な回帰手法を提案し,これは学生のt分布にインスパイアされた損失関数をラッソの罰則フレームワークに組み込んだものである。 この損失は、小さな残留物に対して望ましい二次的挙動を保ちながら、大きな偏差を適応的に下降させ、重み付きノイズや外れ値に対する堅牢性を高める。 重ラッソは、古典的なラッソ解法とシームレスに統合されるデータ拡張スキームとソフトスレッショルドアルゴリズムを活用することにより、計算効率を享受する。 理論的には、局所凸性の枠組みを用いることで、$\ell_1$ と $\ell_2 $ のノルムの下で非漸近的境界を確立し、重ラッソ推定器がハマーの損失に匹敵する速度を達成することを示す。 大規模な数値研究により、ヘビー・ラッソは古典的なラッソや他の頑丈な変種よりも優れた性能を示し、ノイズの多い環境におけるその効果を強調している。 当社のメソッドは,Githubで公開されているRパッケージのヘビーラッソに実装されている。

関連論文リスト

• Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise [60.17850744118546]
  Clip-SGDのようなクリッピングを持つ一階法は、$(L_$1)$-smoothnessの仮定の下でSGDよりも強い収束保証を示す。 Clip-SGD の高確率収束バウンダリを凸 $(L_$1)$-smooth の重み付き雑音による最適化に適用した最初の高確率収束バウンダリを確立する。
  論文  参考訳（メタデータ） (2025-05-27T07:23:42Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Lasso with Latents: Efficient Estimation, Covariate Rescaling, and Computational-Statistical Gaps [29.13944209460543]
  本研究では、観測されていない潜伏変数から強い相関関係が生じる自然なスパース線形回帰設定を提案する。 この設定では、強い相関関係に起因する問題を解析し、驚くほど単純な修正を設計する。 結果として生じる「再スケールされたラッソ」アルゴリズムのサンプルの複雑さは、(最悪の場合)下層の信号の間隔に二次的に依存する。
  論文  参考訳（メタデータ） (2024-02-23T16:16:38Z)
• Outlier-robust neural network training: variation regularization meets trimmed loss to prevent functional breakdown [2.5628953713168685]
  我々は,高度に表現力のあるニューラルネットワークを用いた外乱予測モデリングの課題に取り組む。 提案手法は,(1)変換トリミング損失(TTL)と(2)高次変動正規化(HOVR)の2つの重要な要素を統合し,予測関数に滑らかさの制約を課す。
  論文  参考訳（メタデータ） (2023-08-04T12:57:13Z)
• Asymptotic Characterisation of Robust Empirical Risk Minimisation Performance in the Presence of Outliers [18.455890316339595]
  我々は,次元$d$とデータ点数$n$が固定比$alpha=n/d$で分岐した場合,高次元の線形回帰について検討し,出力率を含むデータモデルについて検討する。 我々は、$ell$-regularized $ell$, $ell_$, Huber損失を用いて、経験的リスク最小化(ERM)のパフォーマンスの正確性を提供する。
  論文  参考訳（メタデータ） (2023-05-30T12:18:39Z)
• Trimmed Maximum Likelihood Estimation for Robust Learning in Generalized Linear Models [33.43662223854747]
  敵の汚職下での一般化線形モデル学習の問題点を考察する。 我々は, 線形モデルにおいて, トリミングされた反復最大極大推定器が極小極小最適リスクを達成できることを証明した。
  論文  参考訳（メタデータ） (2022-06-09T21:56:44Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。