論文の概要: Parallel gradient boosting for flexible estimation of conditional distributions
- arxiv url: http://arxiv.org/abs/2607.13550v1
- Date: Wed, 15 Jul 2026 07:56:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.690597
- Title: Parallel gradient boosting for flexible estimation of conditional distributions
- Title（参考訳）: 条件分布のフレキシブル推定のための並列勾配昇降法
- Authors: Rémy Chapelle, Nicolas Vayatis, Bruno Falissard, Mohammed Sedki,
- Abstract要約: 我々は、並列勾配促進法( parallel gradient boosting)と呼ばれる勾配促進アルゴリズムの修正について検討する。
これにより、ターゲットの数に関係なく、イテレーション毎に1つのベースモデルしか必要としない。
このような環境では、最先端のブースティングライブラリに類似した品質の予測を提供する。
- 参考スコア（独自算出の注目度）: 2.453409145803731
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Boosting is one of the most successful learning techniques for standard classification and regression tasks. Its extension to multi-output prediction problems has found an increasing number of applications in recent years. Among them is the prediction of entire conditional distributions rather than single functionals, which can often be framed as a multi-output regression problem, for example multiple quantile regression. Addressing such problems with classical implementations of boosting is computationally challenging, because usually one base model is trained for each target at every iteration. More efficient variants of boosting have been proposed to speed up training, but they tend to be tied to specific loss functions and classes of base learners, usually decision trees. In this work, we study a modification of the gradient boosting algorithm, which we call parallel gradient boosting, designed to circumvent all these limitations. The core idea is to use a common descent direction for all training observations. By doing so, only one base model is needed at each iteration, regardless of the number of targets, which allows for considerable performance gains. We establish sufficient conditions for the convergence of the algorithm, whose practical use is introduced via the multiple quantile regression setting. We show that in such a setting, it provides predictions of similar quality to state-of-the-art boosting libraries such as XGBoost, while being faster by several orders of magnitude. Then, we evaluate the properties of the resulting conditional distribution estimator, which is shown empirically to outperform other nonparametric and semiparametric estimators, especially in high-dimensional settings and in the presence of mixed and/or missing covariates.
- Abstract（参考訳）: ブースティングは、標準分類と回帰タスクの最も成功した学習手法の1つである。
マルチアウトプット予測問題への拡張により、近年、アプリケーションが増えてきている。
そのうちの1つは、単一関数ではなく条件分布全体の予測であり、これは多出力回帰問題(例えば多重量子回帰)としてフレーム化されることが多い。
ブースティングの古典的な実装でこのような問題に対処することは、計算的に困難である。
トレーニングを高速化するために、より効率的なブースティングのバリエーションが提案されているが、それらは特定の損失関数や基礎学習者のクラス(通常は決定木)に結びついている傾向がある。
そこで本研究では,これらすべての制約を回避するために,並列勾配促進法( parallel gradient boosting)と呼ぶ勾配促進アルゴリズムの修正について検討する。
中心となる考え方は、すべてのトレーニング観察に共通の降下方向を使用することである。
これにより、ターゲットの数に関係なく、イテレーション毎に1つのベースモデルしか必要とせず、パフォーマンスがかなり向上する。
我々は,多重量子レグレッション設定によって実用化されるアルゴリズムの収束のための十分な条件を確立する。
このような環境では、XGBoostのような最先端のブースティングライブラリに類似した品質の予測を提供すると同時に、桁違いに高速であることを示す。
そこで,実験により得られた条件分布推定器の特性を評価し,特に高次元設定および混合共変量および/または欠落共変量の存在下で,他の非パラメトリックおよび半パラメトリック推定器よりも優れた性能を示すことを示した。
関連論文リスト
- Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。
本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
論文 参考訳（メタデータ） (2025-01-15T04:09:21Z) - From Point to probabilistic gradient boosting for claim frequency and severity prediction [1.3812010983144802]
我々は、決定木アルゴリズムの既存の点と確率的勾配を全て向上させる統一的な表記法と対照的に提示する。
クレーム頻度と重大度を5つの公開データセットで比較した。
モデル精度と予測精度の間にトレードオフがないことが分かりました。
論文 参考訳（メタデータ） (2024-12-19T14:50:10Z) - Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。
我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。
そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
論文 参考訳（メタデータ） (2024-08-06T03:42:38Z) - Quantile Extreme Gradient Boosting for Uncertainty Quantification [1.7685947618629572]
Extreme Gradient Boosting (XGBoost)は、最も人気のある機械学習(ML)手法の1つである。
本稿では,不確実性(QXGBoost)を推定する目的関数として,修正量子回帰を用いたXGBoostの拡張を提案する。
提案手法は, 正規および量子的光勾配向上のために生成した不確実性推定値と同等あるいは優れた性能を示した。
論文 参考訳（メタデータ） (2023-04-23T19:46:19Z) - Condensed Gradient Boosting [0.0]
本稿では,マルチクラス問題を単一タスクとして扱うためのベースモデルとしてマルチ出力回帰器を提案する。
一般化と計算効率の観点から,他のマルチオプタットベース勾配促進法との比較を行った。
論文 参考訳（メタデータ） (2022-11-26T15:53:19Z) - Flexible Model Aggregation for Quantile Regression [92.63075261170302]
量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。
条件付き量子モデルの任意の数を集約する手法について検討する。
この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
論文 参考訳（メタデータ） (2021-02-26T23:21:16Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳（メタデータ） (2020-11-14T09:51:51Z) - Multivariate Boosted Trees and Applications to Forecasting and Control [0.0]
勾配強化木は、特定の損失関数を最小限に抑えるために、逐次モデルフィッティングと勾配降下を利用する非パラメトリック回帰木である。
本稿では,多変量隆起木を適応する計算効率のよいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-08T19:26:59Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳（メタデータ） (2020-01-27T08:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。