論文の概要: Choosing the Right Regularizer for Applied ML: Simulation Benchmarks of Popular Scikit-learn Regularization Frameworks

• arxiv url: http://arxiv.org/abs/2604.03541v2
• Date: Tue, 07 Apr 2026 17:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 15:04:55.547476
• Title: Choosing the Right Regularizer for Applied ML: Simulation Benchmarks of Popular Scikit-learn Regularization Frameworks
• Title（参考訳）: 応用MLのための正しい正規化器の選択:人気のあるスキート学習規則化フレームワークのシミュレーションベンチマーク
• Authors: Benjamin S. Knight, Ahsaas Bajaj,
• Abstract要約: 134,400のシミュレーションで、Rook、Lasso、ElasticNet、Post-Lasso OLSの4つの標準フレームワークのパフォーマンスを実証的に評価した。 サンプル/フィール比が十分である場合の予測精度では、Ride、Lasso、ElasticNetはほぼ交換可能である。 サンプルサイズが小さいカッパでLassoまたはPost-Lasso OLSの使用を推奨する。
• 参考スコア（独自算出の注目度）: 0.1862063702912854
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This study surveys the historical development of regularization, tracing its evolution from stepwise regression in the 1960s to recent advancements in formal error control, structured penalties for non-independent features, Bayesian methods, and l0-based regularization (among other techniques). We empirically evaluate the performance of four canonical frameworks -- Ridge, Lasso, ElasticNet, and Post-Lasso OLS -- across 134,400 simulations spanning a 7-dimensional manifold grounded in eight production-grade machine learning models. Our findings demonstrate that for prediction accuracy when the sample-to-feature ratio is sufficient (n/p >= 78), Ridge, Lasso, and ElasticNet are nearly interchangeable. However, we find that Lasso recall is highly fragile under multicollinearity; at high condition numbers (kappa) and low SNR, Lasso recall collapses to 0.18 while ElasticNet maintains 0.93. Consequently, we advise practitioners against using Lasso or Post-Lasso OLS at high kappa with small sample sizes. The analysis concludes with an objective-driven decision guide to assist machine learning engineers in selecting the optimal scikit-learn-supported framework based on observable feature space attributes.
• Abstract（参考訳）: 本研究は、1960年代の段階的回帰から、形式的誤り制御の最近の進歩、非独立な特徴に対する構造化された罰則、ベイズ法、および l0 に基づく正則化(その他技術)まで、正則化の歴史的発展を追究する。 8つのプロダクショングレードの機械学習モデルで構築された7次元多様体にまたがる134,400のシミュレーションで、Rage、Lasso、ElasticNet、Post-Lasso OLSの4つの標準フレームワークのパフォーマンスを実証的に評価した。 以上の結果から, 試料間比が十分である場合(n/p >=78)に, リッジ, ラッソ, 弾性ネットはほぼ交換可能であることがわかった。 高い条件数(カッパ)と低いSNRでは、Lassoリコールは0.18に崩壊し、ElasticNetは0.93を維持している。 その結果, サンプルサイズが小さいカッパでは, Lasso や Post-Lasso OLS の使用を推奨した。 この分析は、機械学習エンジニアが観測可能な特徴空間属性に基づいて最適なシキト学習支援フレームワークを選択するのを支援する、客観的な決定ガイドで締めくくられている。

関連論文リスト

• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• LLMs can Compress LLMs: Adaptive Pruning by Agents [0.0]
  ポストトレーニングプルーニングは、性能を保ちながら計算コストを削減するための有望なアプローチとして現れている。 我々はエージェント誘導プルーニングを導入し、ファンデーションモデルが適応プルーニングエージェントとして機能する。 我々はQ3モデル(4Bおよび8Bパラメータ)の約45%の間隔で評価を行い、構造化プルーニングベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2026-01-14T18:45:36Z)
• From Memorization to Creativity: LLM as a Designer of Novel Neural-Architectures [48.83701310501069]
  大規模言語モデル(LLM)は、プログラム合成において優れているが、ニューラルネットワーク設計(信頼性、性能、構造的ノベルティ)を自律的にナビゲートする能力は、未調査のままである。 コード指向LLMをクローズドループ合成フレームワークに配置し、22の教師付き微調整サイクルの進化を解析することによって、この問題に対処する。
  論文  参考訳（メタデータ） (2026-01-06T13:20:28Z)
• Mitigating Spurious Correlations in NLI via LLM-Synthesized Counterfactuals and Dynamic Balanced Sampling [0.0]
  自然言語推論(NLI)モデルは、意味論的推論よりも、素早い相関にしばしば依存する。 既存の緩和戦略は、しばしば高いアノテーションコストを発生させるか、微調整中に破滅的な忘れを引き起こす。 これらの制限に対処する自動化されたスケーラブルなパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-12-20T18:30:54Z)
• Machine-Precision Prediction of Low-Dimensional Chaotic Systems [0.0]
  低次元カオスシステムからの学習は,機械的精度で達成可能であることを示す。 我々はLorenz-63系に対する32から105Lyapunovの有効予測時間を得る。 その結果,ノイズフリーデータから低時間カオスシステムを学習することが問題であることが示唆された。
  論文  参考訳（メタデータ） (2025-07-13T14:36:47Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Landslide Susceptibility Prediction Modeling Based on Self-Screening Deep Learning Model [9.7723814375467]
  本稿では,自己スクリーニンググラフ畳み込みネットワークと長期記憶ネットワーク(SGCN-LSTM)を提案する。 設定しきい値間隔外において大きな誤差の地すべりサンプルを自己スクリーニング網で除去する。 環境要因間の非線形関係は空間ノードと時系列の両方から抽出できる。
  論文  参考訳（メタデータ） (2023-04-12T10:31:03Z)
• Machine learning tools to improve nonlinear modeling parameters of RC columns [0.0]
  本稿では, 耐震基準の非線形モデリング法則を改善する上で, 最も重要な2つの障壁について論じる。 入力パラメータ間の相互依存性と入力パラメータとモデル出力間の非線形関係を認識できるデータフィッティング技術を実装している。 機械学習回帰モデルと機械学習ブラックボックスは、ACI 369.1/ASCE 41標準の現在の規定よりも正確であることが判明した。
  論文  参考訳（メタデータ） (2023-03-09T01:00:38Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。