論文の概要: The Choice of Normalization Influences Shrinkage in Regularized Regression

• arxiv url: http://arxiv.org/abs/2501.03821v2
• Date: Tue, 21 Jan 2025 18:42:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:34.242035
• Title: The Choice of Normalization Influences Shrinkage in Regularized Regression
• Title（参考訳）: 正規化選択が正規化回帰における収縮に及ぼす影響
• Authors: Johan Larsson, Jonas Wallin,
• Abstract要約: 本研究では,ラッソ,隆起,弾性ネット回帰の文脈における正規化について検討した。 二つの特徴のクラスが回帰係数に直接影響を与えることを示す。 また、バイナリと通常の機能の混在やインタラクションにも取り組み、初期結果を提供しています。
• 参考スコア（独自算出の注目度）: 7.823248584589426
• License:
• Abstract: Regularized models are often sensitive to the scales of the features in the data and it has therefore become standard practice to normalize (center and scale) the features before fitting the model. But there are many different ways to normalize the features and the choice may have dramatic effects on the resulting model. In spite of this, there has so far been no research on this topic. In this paper, we begin to bridge this knowledge gap by studying normalization in the context of lasso, ridge, and elastic net regression. We focus on normal and binary features and show that the class balances of binary features directly influences the regression coefficients and that this effect depends on the combination of normalization and regularization methods used. We demonstrate that this effect can be mitigated by scaling binary features with their variance in the case of the lasso and standard deviation in the case of ridge regression, but that this comes at the cost of increased variance. For the elastic net, we show that scaling the penalty weights, rather than the features, can achieve the same effect. Finally, we also tackle mixes of binary and normal features as well as interactions and provide some initial results on how to normalize features in these cases.
• Abstract（参考訳）: 正規化モデルは、しばしばデータの機能のスケールに敏感であり、そのため、モデルに適合する前に機能(中心と規模)を正規化(正規化)する標準的なプラクティスになっている。 しかし、機能の正規化にはさまざまな方法があり、選択は結果のモデルに劇的な影響を及ぼす可能性がある。 それにもかかわらず、今のところこの話題についての研究は行われていない。 本稿では,ラッソ,リッジ,弾性ネット回帰の文脈で正規化を研究することで,この知識ギャップを橋渡しする。 正規化と二項化に焦点をあて、二項化のクラスバランスが回帰係数に直接影響を与え、この効果が使われる正規化と正規化の組み合わせに依存することを示す。 この効果は、ラッソの場合の分散とリッジ回帰の場合の標準偏差の2値特徴のスケーリングによって緩和できるが、これは分散の増大のコストがかかることを実証する。 弾性ネットの場合, ペナルティ重みのスケーリングは, 特徴ではなく, 同じ効果が得られることを示す。 最後に、バイナリと通常の機能の混在やインタラクションにも取り組み、これらのケースにおける機能の正規化に関する最初の結果を提供しています。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Bias-variance decomposition of overparameterized regression with random linear features [0.0]
  パラメータ化モデル」は、トレーニングデータに完全に適合するのに十分な数のパラメータが適合している場合でも、過度に適合しないようにする。 ヘッセン行列の非零固有値が小さいため、各遷移がどのように生じるかを示す。 ランダムな線形特徴モデルの位相図とランダムな非線形特徴モデルと通常の回帰とを比較して比較する。
  論文  参考訳（メタデータ） (2022-03-10T16:09:21Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Benign overfitting in ridge regression [0.0]
  過度にパラメータ化されたリッジ回帰に対する漸近的でない一般化境界を提供する。 最小あるいは負の正則化が小さい一般化誤差を得るのに十分であるかどうかを同定する。
  論文  参考訳（メタデータ） (2020-09-29T20:00:31Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime [32.65347128465841]
  深層ニューラルネットワークは、トレーニングデータを完璧に補間しながら、素晴らしいパフォーマンスを達成することができる。 バイアス分散トレードオフのU曲線ではなく、テストエラーはしばしば「二重降下」に従う。 我々は、ニューラルネットワークのいわゆる遅延学習システムにおいて、この現象の定量的理論を開発する。
  論文  参考訳（メタデータ） (2020-03-02T17:39:31Z)
• Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature Normalization [17.829013101192295]
  外部変数は特定のタスクに無関係な変数であるが、利用可能なデータの分布に大きな影響を及ぼす変数である。 このような変数の存在は、ディープラーニングモデルの性能を低下させる可能性があることを示す。 我々は,例えば正規化のように,推測中に特徴統計量を適応的に推定することが,この問題に対処することを示す。
  論文  参考訳（メタデータ） (2020-02-10T18:47:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。