論文の概要: Robust Boosting for Regression Problems

• arxiv url: http://arxiv.org/abs/2002.02054v2
• Date: Fri, 7 Aug 2020 21:09:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 13:07:06.219700
• Title: Robust Boosting for Regression Problems
• Title（参考訳）: 回帰問題に対するロバストブースティング
• Authors: Xiaomeng Ju, Mat\'ias Salibi\'an-Barrera
• Abstract要約: 基底学習者の線形結合による回帰予測アルゴリズムの構築 このロバストなブースティングアルゴリズムは、2段階のアプローチに基づいており、ロバストな線形回帰のためにブースティングが行なわれているのと同様である。 非定型的な観測が存在しない場合、頑健な昇降法は正方形損失を伴う標準勾配昇降法と同様に機能する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient boosting algorithms construct a regression predictor using a linear combination of ``base learners''. Boosting also offers an approach to obtaining robust non-parametric regression estimators that are scalable to applications with many explanatory variables. The robust boosting algorithm is based on a two-stage approach, similar to what is done for robust linear regression: it first minimizes a robust residual scale estimator, and then improves it by optimizing a bounded loss function. Unlike previous robust boosting proposals this approach does not require computing an ad-hoc residual scale estimator in each boosting iteration. Since the loss functions involved in this robust boosting algorithm are typically non-convex, a reliable initialization step is required, such as an L1 regression tree, which is also fast to compute. A robust variable importance measure can also be calculated via a permutation procedure. Thorough simulation studies and several data analyses show that, when no atypical observations are present, the robust boosting approach works as well as the standard gradient boosting with a squared loss. Furthermore, when the data contain outliers, the robust boosting estimator outperforms the alternatives in terms of prediction error and variable selection accuracy.
• Abstract（参考訳）: 勾配ブースティングアルゴリズムは ``base learners'' の線形結合を用いて回帰予測器を構築する。 Boostingはまた、多くの説明変数を持つアプリケーションにスケーラブルな堅牢な非パラメトリック回帰推定器を得るためのアプローチを提供する。 ロバストなブースティングアルゴリズムは、2段階のアプローチに基づいており、ロバストな線形回帰に類似している: まず、ロバストな残留スケール推定器を最小化し、次に、有界損失関数を最適化することで改善する。 従来の堅牢なブースティング提案とは異なり、このアプローチではブースティングの各イテレーションでアドホックな残留スケール推定器を計算する必要はない。 この頑健なブースティングアルゴリズムに関わる損失関数は典型的には非凸であるため、L1回帰木のような高速で計算できる信頼できる初期化ステップが必要である。 頑健な変数重要度尺度は置換手順によっても計算できる。 徹底的なシミュレーション研究といくつかのデータ分析により、非定型的な観測が存在しない場合、ロバストなブースティングアプローチは標準勾配ブースティングと同様に二乗損失を伴う。 さらに、データが外れ値を含む場合、ロバストなブースティング推定器は、予測誤差と可変選択精度で代替値より優れている。

関連論文リスト

• Stagewise Boosting Distributional Regression [0.0]
  本稿では,分布回帰のための段階的ブースティング型アルゴリズムを提案する。 新たな正則化手法である相関フィルタリングを用いて拡張し,さらなる安定性を実現する。 大規模なデータセットを処理するメリットに加えて、近似の性質はより良い結果をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-05-28T15:40:39Z)
• Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery [0.0]
  我々は高次元線形量子レグレッションのための分散推定とサポート回復に焦点をあてる。 元の量子レグレッションを最小二乗最適化に変換する。 効率的なアルゴリズムを開発し、高い計算と通信効率を享受する。
  論文  参考訳（メタデータ） (2024-05-13T08:32:22Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Robust Regression Revisited: Acceleration and Improved Estimation Rates [25.54653340884806]
  強い汚染モデルの下で, 統計的回帰問題に対する高速アルゴリズムについて検討する。 目的は、逆向きに破損したサンプルを与えられた一般化線形モデル(GLM)を概ね最適化することである。 実行時や推定保証が改善された頑健な回帰問題に対して,ほぼ直線的な時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:21:56Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)
• Statistical Inference for Model Parameters in Stochastic Gradient Descent [45.29532403359099]
  勾配降下係数(SGD)は,その計算効率とメモリ効率から,大規模データの統計的推定に広く用いられている。 人口減少関数が強い凸であり,一定の条件を満たす場合,SGDに基づく真のモデルパラメータの統計的推測の問題について検討する。
  論文  参考訳（メタデータ） (2016-10-27T07:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。