論文の概要: On LASSO for High Dimensional Predictive Regression

• arxiv url: http://arxiv.org/abs/2212.07052v2
• Date: Tue, 16 Jan 2024 15:19:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 22:02:45.128802
• Title: On LASSO for High Dimensional Predictive Regression
• Title（参考訳）: 高次元予測回帰のためのLASSOについて
• Authors: Ziwei Mei and Zhentao Shi
• Abstract要約: 本稿では,L_1$-penalized regression法であるLASSOを高次元線形回帰法で検討する。 LASSOの整合性は、回帰器の交叉積の偏差境界と誤差項の2つの重要な成分に基づいて決定される。 機械学習とマクロ経済分野の専門知識を用いて、LASSOは失業率の予測において高いパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper examines LASSO, a widely-used $L_{1}$-penalized regression method, in high dimensional linear predictive regressions, particularly when the number of potential predictors exceeds the sample size and numerous unit root regressors are present. The consistency of LASSO is contingent upon two key components: the deviation bound of the cross product of the regressors and the error term, and the restricted eigenvalue of the Gram matrix. We present new probabilistic bounds for these components, suggesting that LASSO's rates of convergence are different from those typically observed in cross-sectional cases. When applied to a mixture of stationary, nonstationary, and cointegrated predictors, LASSO maintains its asymptotic guarantee if predictors are scale-standardized. Leveraging machine learning and macroeconomic domain expertise, LASSO demonstrates strong performance in forecasting the unemployment rate, as evidenced by its application to the FRED-MD database.
• Abstract（参考訳）: 本稿では,L_{1}$-penalized regression法であるLASSOを高次元線形予測回帰法において広く用いられている。 LASSO の整合性は、回帰器の交叉積の偏差境界と誤差項と、グラム行列の制限固有値の2つの重要な成分に基づいて決定される。 これらの成分に対する新しい確率的境界を示し,ラスソの収束率は,断面の場合の通常観測値とは異なることを示唆する。 定常、非定常、および共積分予測器の混合に適用すると、LASSOは予測器がスケール標準化されている場合、その漸近保証を維持する。 機械学習とマクロ経済分野の専門知識を活用して、LASSOはFRED-MDデータベースへの適用によって証明されているように、失業率の予測において高いパフォーマンスを示す。

関連論文リスト

• Econometric Inference for High Dimensional Predictive Regressions [4.658398919599387]
  我々は、IVX分離LASSO(XDlasso)と呼ばれる新しい推定器を提案する。 XDlassoは同時に収縮バイアスを除去する。 我々は、利益-価格比に基づく米国株のリターン予測可能性と、失業率を用いた米国のインフレ予測可能性について検討する。
  論文  参考訳（メタデータ） (2024-09-16T06:41:58Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
  まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。 強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
  論文  参考訳（メタデータ） (2021-02-26T18:58:29Z)
• The Predictive Normalized Maximum Likelihood for Over-parameterized Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
  現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。 最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。 我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
  論文  参考訳（メタデータ） (2021-02-14T15:49:04Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Machine Learning Time Series Regressions with an Application to Nowcasting [0.0]
  本稿では、異なる周波数でサンプリング可能な高次元時系列データに対して、構造化された機械学習レグレッションを提案する。 スパース群LASSO推定器は、このような時系列データ構造を活用でき、非構造LASSOより優れる。
  論文  参考訳（メタデータ） (2020-05-28T14:42:58Z)
• Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
  この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。 主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-06T22:08:36Z)
• The Reciprocal Bayesian LASSO [0.0]
  我々は、線形回帰パラメータの rLASSO 推定をベイズ的後続モード推定として解釈できるという観測に基づいて、rLASSO 問題の完全なベイズ的定式化を考える。 シミュレーションおよび実データについて、ベイズ式は、推定、予測、変数選択において、その古典的な従兄弟よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-23T01:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。