論文の概要: Error Reduction from Stacked Regressions

• arxiv url: http://arxiv.org/abs/2309.09880v3
• Date: Mon, 07 Oct 2024 20:39:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:29:53.749578
• Title: Error Reduction from Stacked Regressions
• Title（参考訳）: 重み付き回帰による誤差低減
• Authors: Xin Chen, Jason M. Klusowski, Yan Shuo Tan,
• Abstract要約: 積み重ね回帰は、予測精度を高めるために異なる回帰推定器の線形結合を形成するアンサンブル手法である。 本稿では,非負性制約を受ける経験的リスクの正規化バージョンを最小化することにより,これらの重みを類似的に学習する。 適応的縮小効果により、結果として生じる累積推定量は、最も優れた単一推定値よりも人口リスクが厳しく小さい。
• 参考スコア（独自算出の注目度）: 12.657895453939298
• License:
• Abstract: Stacking regressions is an ensemble technique that forms linear combinations of different regression estimators to enhance predictive accuracy. The conventional approach uses cross-validation data to generate predictions from the constituent estimators, and least-squares with nonnegativity constraints to learn the combination weights. In this paper, we learn these weights analogously by minimizing a regularized version of the empirical risk subject to a nonnegativity constraint. When the constituent estimators are linear least-squares projections onto nested subspaces separated by at least three dimensions, we show that thanks to an adaptive shrinkage effect, the resulting stacked estimator has strictly smaller population risk than best single estimator among them, with more significant gains when the signal-to-noise ratio is small. Here "best" refers to an estimator that minimizes a model selection criterion such as AIC or BIC. In other words, in this setting, the best single estimator is inadmissible. Because the optimization problem can be reformulated as isotonic regression, the stacked estimator requires the same order of computation as the best single estimator, making it an attractive alternative in terms of both performance and implementation.
• Abstract（参考訳）: 積み重ね回帰は、予測精度を高めるために異なる回帰推定器の線形結合を形成するアンサンブル手法である。 従来の手法では、クロスバリデーションデータを用いて構成推定器から予測を生成するとともに、非負性制約を持つ最小二乗法を用いて組み合わせ重みを学習する。 本稿では,非負性制約を受ける経験的リスクの正規化バージョンを最小化することにより,これらの重みを類似的に学習する。 構成推定器が少なくとも3次元で区切られたネスト付き部分空間への線形最小二乗射影である場合、適応的縮小効果により、重畳された推定器は、それらの中の最良一乗推定器よりも人口リスクが厳密に小さく、信号対雑音比が小さい場合には、より有意な利得が得られることを示す。 ここで「ベスト」とは、AICやBICのようなモデル選択基準を最小化する推定器を指す。 言い換えれば、この設定では、最高の単一推定器は許容できない。 最適化問題は等調回帰として再構成できるため、積み重ねられた推定器は最高の単一推定器と同じ計算順序を必要とするため、性能と実装の両面で魅力的な代替手段となる。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• On the design-dependent suboptimality of the Lasso [27.970033039287884]
  最小特異値が小さい場合、ラッソ推定器は、確実に最小値であることを示す。 我々の下限は、ラッソの全ての形態のまばらな統計的最適性を妨げるのに十分強い。
  論文  参考訳（メタデータ） (2024-02-01T07:01:54Z)
• Tuned Regularized Estimators for Linear Regression via Covariance Fitting [17.46329281993348]
  線形モデルに対する調律正規化パラメータ推定器の探索問題を考える。 3つの既知の最適線形推定器がより広いクラスの推定器に属することを示す。 得られた推定器のクラスは、既知の正規化推定器のチューニングバージョンを得ることを示す。
  論文  参考訳（メタデータ） (2022-01-21T16:08:08Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
  有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。 3つの設定でミニマックスレート・オプティマティックな手順を開発。
  論文  参考訳（メタデータ） (2021-01-19T18:55:29Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Robust regression with covariate filtering: Heavy tails and adversarial contamination [6.939768185086755]
  より強い汚染モデルにおいて,ハマー回帰,最小トリミング正方形,最小絶対偏差推定器を同時に計算および統計的に効率的に推定する方法を示す。 この設定では、ハマー回帰推定器がほぼ最適誤差率を達成するのに対し、最小のトリミング正方形と最小の絶対偏差推定器は、後処理ステップを適用した後、ほぼ最適誤差を達成することができる。
  論文  参考訳（メタデータ） (2020-09-27T22:48:48Z)
• Distributional robustness of K-class estimators and the PULSE [4.56877715768796]
  古典的Kクラス推定器は、Kクラス推定器とアンカー回帰との接続を確立することにより、そのような最適性を満たすことを証明する。 データ駆動型シミュレーションKクラス推定器として効率的に計算できることを示す。 弱い楽器の設定を含むいくつかの設定があり、他の推定値よりも優れています。
  論文  参考訳（メタデータ） (2020-05-07T09:39:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。