論文の概要: Error Reduction from Stacked Regressions

• arxiv url: http://arxiv.org/abs/2309.09880v1
• Date: Mon, 18 Sep 2023 15:42:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 12:28:51.100791
• Title: Error Reduction from Stacked Regressions
• Title（参考訳）: 重ね合わせ回帰による誤差低減
• Authors: Xin Chen and Jason M. Klusowski and Yan Shuo Tan
• Abstract要約: 積み重ね回帰は、予測精度を高めるために異なる回帰推定器の線形結合を形成するアンサンブル手法である。 縮小効果により, 累積推定器の人口リスクは, 最上位の単一推定器よりも厳密に小さいことがわかった。
• 参考スコア（独自算出の注目度）: 14.226205980875262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stacking regressions is an ensemble technique that forms linear combinations of different regression estimators to enhance predictive accuracy. The conventional approach uses cross-validation data to generate predictions from the constituent estimators, and least-squares with nonnegativity constraints to learn the combination weights. In this paper, we learn these weights analogously by minimizing an estimate of the population risk subject to a nonnegativity constraint. When the constituent estimators are linear least-squares projections onto nested subspaces separated by at least three dimensions, we show that thanks to a shrinkage effect, the resulting stacked estimator has strictly smaller population risk than best single estimator among them. Here ``best'' refers to a model that minimizes a selection criterion such as AIC or BIC. In other words, in this setting, the best single estimator is inadmissible. Because the optimization problem can be reformulated as isotonic regression, the stacked estimator requires the same order of computation as the best single estimator, making it an attractive alternative in terms of both performance and implementation.
• Abstract（参考訳）: stacking regressionsは、予測精度を高めるために異なる回帰推定器の線形結合を形成するアンサンブルテクニックである。 従来のアプローチでは、クロスバリデーションデータを使用して構成推定子から予測を生成し、非負性制約のある最小二乗数で重み付けを学習する。 本稿では,非負性制約による人口リスクの推定を最小化することにより,これらの重みを類似的に学習する。 構成推定器が少なくとも3次元で区切られたネスト付き部分空間への線形最小二乗射影である場合, 縮退効果により, 結果として得られる累積推定器の人口リスクは, 最上位の単一推定器よりも厳密に小さいことを示す。 ここで `best' は AIC や BIC のような選択基準を最小化するモデルを指す。 言い換えれば、この設定では、最高の単一推定子は許容できない。 最適化問題は等調回帰として再構成できるため、積み重ねられた推定器は最高の単一推定器と同じ計算順序を必要とするため、性能と実装の両面で魅力的な代替手段となる。

関連論文リスト

• Tuned Regularized Estimators for Linear Regression via Covariance Fitting [17.46329281993348]
  線形モデルに対する調律正規化パラメータ推定器の探索問題を考える。 3つの既知の最適線形推定器がより広いクラスの推定器に属することを示す。 得られた推定器のクラスは、既知の正規化推定器のチューニングバージョンを得ることを示す。
  論文  参考訳（メタデータ） (2022-01-21T16:08:08Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data [13.48481978963297]
  ブロックワイドなデータは、異なるソースまたはモダリティが相補的な情報を含むマルチソースまたはマルチモダリティデータを統合するときに発生する。 本稿では,未偏差推定方程式に基づいて回帰係数ベクトルを計算効率良く推定する手法を提案する。 アルツハイマー病神経画像イニシアチブの数値的研究と応用分析により、提案手法は既存の方法よりも教師なしのサンプルからより優れた性能と利益を得られることを示した。
  論文  参考訳（メタデータ） (2021-06-07T05:12:42Z)
• Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
  有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。 3つの設定でミニマックスレート・オプティマティックな手順を開発。
  論文  参考訳（メタデータ） (2021-01-19T18:55:29Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Robust regression with covariate filtering: Heavy tails and adversarial contamination [6.939768185086755]
  より強い汚染モデルにおいて,ハマー回帰,最小トリミング正方形,最小絶対偏差推定器を同時に計算および統計的に効率的に推定する方法を示す。 この設定では、ハマー回帰推定器がほぼ最適誤差率を達成するのに対し、最小のトリミング正方形と最小の絶対偏差推定器は、後処理ステップを適用した後、ほぼ最適誤差を達成することができる。
  論文  参考訳（メタデータ） (2020-09-27T22:48:48Z)
• Learning Minimax Estimators via Online Learning [55.92459567732491]
  確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。 混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
  論文  参考訳（メタデータ） (2020-06-19T22:49:42Z)
• Distributional robustness of K-class estimators and the PULSE [4.56877715768796]
  古典的Kクラス推定器は、Kクラス推定器とアンカー回帰との接続を確立することにより、そのような最適性を満たすことを証明する。 データ駆動型シミュレーションKクラス推定器として効率的に計算できることを示す。 弱い楽器の設定を含むいくつかの設定があり、他の推定値よりも優れています。
  論文  参考訳（メタデータ） (2020-05-07T09:39:07Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。