論文の概要: On LASSO for High Dimensional Predictive Regression

• arxiv url: http://arxiv.org/abs/2212.07052v1
• Date: Wed, 14 Dec 2022 06:14:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 17:37:46.885237
• Title: On LASSO for High Dimensional Predictive Regression
• Title（参考訳）: 高次元予測回帰のためのLASSOについて
• Authors: Ziwei Mei and Zhentao Shi
• Abstract要約: 一般的なL1ペナル化回帰法であるLASSOを用いて,単位根回帰器が多数存在する場合のスパース係数を推定する。 単位根回帰器が時間依存的に依存しない非ガウス的革新によって駆動されるような環境では、これらの2つの構造ブロックに対する元の確率的境界を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a high dimensional linear predictive regression where the number of potential predictors can be larger than the sample size, we consider using LASSO, a popular L1-penalized regression method, to estimate the sparse coefficients when many unit root regressors are present. Consistency of LASSO relies on two building blocks: the deviation bound of the cross product of the regressors and the error term, and the restricted eigenvalue of the Gram matrix of the regressors. In our setting where unit root regressors are driven by temporal dependent non-Gaussian innovations, we establish original probabilistic bounds for these two building blocks. The bounds imply that the rates of convergence of LASSO are different from those in the familiar cross sectional case. In practical applications given a mixture of stationary and nonstationary predictors, asymptotic guarantee of LASSO is preserved if all predictors are scale-standardized. In an empirical example of forecasting the unemployment rate with many macroeconomic time series, strong performance is delivered by LASSO when the initial specification is guided by macroeconomic domain expertise.
• Abstract（参考訳）: ポテンシャル予測器の数をサンプルサイズより大きくできる高次元線形予測回帰では,l1ペナライズド回帰法であるlassoを用いて,多数の単位根回帰器が存在する場合のスパース係数を推定する。 LASSOの整合性は、回帰器の交叉積の偏差境界と誤差項と、回帰器のグラム行列の制限固有値の2つの構成要素に依存する。 単位根回帰器が時相依存的非ガウス的革新によって駆動されるような環境では、これらの2つの構成要素の確率的境界を確立する。 この境界は、LASSOの収束速度がよく知られた断面の場合と異なることを意味する。 定常予測器と非定常予測器を混合した実用的な応用では、全ての予測器がスケール標準化された場合、LASSOの漸近保証が保存される。 多くのマクロ経済時系列で失業率を予測する実証的な例では、最初の仕様がマクロ経済分野の専門知識によって導かれるとき、LASSOによって強い性能が提供される。

関連論文リスト

• Econometric Inference for High Dimensional Predictive Regressions [4.658398919599387]
  我々は、IVX分離LASSO(XDlasso)と呼ばれる新しい推定器を提案する。 XDlassoは同時に収縮バイアスを除去する。 我々は、利益-価格比に基づく米国株のリターン予測可能性と、失業率を用いた米国のインフレ予測可能性について検討する。
  論文  参考訳（メタデータ） (2024-09-16T06:41:58Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
  まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。 強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
  論文  参考訳（メタデータ） (2021-02-26T18:58:29Z)
• The Predictive Normalized Maximum Likelihood for Over-parameterized Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
  現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。 最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。 我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
  論文  参考訳（メタデータ） (2021-02-14T15:49:04Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Machine Learning Time Series Regressions with an Application to Nowcasting [0.0]
  本稿では、異なる周波数でサンプリング可能な高次元時系列データに対して、構造化された機械学習レグレッションを提案する。 スパース群LASSO推定器は、このような時系列データ構造を活用でき、非構造LASSOより優れる。
  論文  参考訳（メタデータ） (2020-05-28T14:42:58Z)
• Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
  この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。 主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-06T22:08:36Z)
• The Reciprocal Bayesian LASSO [0.0]
  我々は、線形回帰パラメータの rLASSO 推定をベイズ的後続モード推定として解釈できるという観測に基づいて、rLASSO 問題の完全なベイズ的定式化を考える。 シミュレーションおよび実データについて、ベイズ式は、推定、予測、変数選択において、その古典的な従兄弟よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-23T01:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。