論文の概要: Stochastic tree ensembles for regularized nonlinear regression

• arxiv url: http://arxiv.org/abs/2002.03375v4
• Date: Thu, 3 Jun 2021 14:44:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 14:36:18.526763
• Title: Stochastic tree ensembles for regularized nonlinear regression
• Title（参考訳）: 正則化非線形回帰のための確率木アンサンブル
• Authors: Jingyu He, P. Richard Hahn
• Abstract要約: 本稿では,非線形回帰のための新しいツリーアンサンブル法を開発し,これをXBARTと呼ぶ。 ベイズモデルからの正規化と探索戦略と計算効率のよい手法を組み合わせることで、新しい手法は最先端の性能を達成できる。
• 参考スコア（独自算出の注目度）: 0.913755431537592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper develops a novel stochastic tree ensemble method for nonlinear regression, which we refer to as XBART, short for Accelerated Bayesian Additive Regression Trees. By combining regularization and stochastic search strategies from Bayesian modeling with computationally efficient techniques from recursive partitioning approaches, the new method attains state-of-the-art performance: in many settings it is both faster and more accurate than the widely-used XGBoost algorithm. Via careful simulation studies, we demonstrate that our new approach provides accurate point-wise estimates of the mean function and does so faster than popular alternatives, such as BART, XGBoost and neural networks (using Keras). We also prove a number of basic theoretical results about the new algorithm, including consistency of the single tree version of the model and stationarity of the Markov chain produced by the ensemble version. Furthermore, we demonstrate that initializing standard Bayesian additive regression trees Markov chain Monte Carlo (MCMC) at XBART-fitted trees considerably improves credible interval coverage and reduces total run-time.
• Abstract（参考訳）: 本稿では,非線形回帰のための新しい確率木アンサンブル法を開発し,これをXBART(Accelerated Bayesian Additive Regression Trees の略)と呼ぶ。 ベイズモデルからの正規化と確率的探索戦略と、再帰的分割アプローチによる計算効率の良い手法を組み合わせることで、新しい手法は最先端の性能が得られる: 多くの設定において、広く使われているxgboostアルゴリズムよりも高速かつ正確である。 注意深いシミュレーション研究を通じて,提案手法は平均関数の正確なポイントワイズ推定を提供し,bart,xgboost,ニューラルネットワーク(kerasを使用)といった一般的な選択肢よりも高速であることを示す。 また,モデルの単一木版の整合性や,アンサンブル版のマルコフ連鎖の定常性など,新しいアルゴリズムに関する基本的な理論的結果もいくつか証明した。 さらに, 標準ベイズ付加回帰木をXBART木で初期化したマルコフ連鎖モンテカルロ (MCMC) は, 信頼区間被覆を著しく改善し, 総実行時間を短縮することを示した。

関連論文リスト

• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Distributional Adaptive Soft Regression Trees [0.0]
  本稿では,多変量ソフトスプリットルールを用いた分布回帰木の新しいタイプを提案する。 ソフトスプリットの大きな利点の1つは、滑らかな高次元函数を1つの木で見積もることができることである。 シミュレーションにより,アルゴリズムは優れた特性を有し,様々なベンチマーク手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-19T08:59:02Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes [1.03590082373586]
  GP-BARTモデル(GP-BART model)は、すべての木間の各終端ノードの予測にGP先行を仮定することで制限に対処するBARTの拡張である。 モデルの有効性は、シミュレーションおよび実世界のデータへの応用を通じて実証され、様々なシナリオにおける従来のモデリング手法のパフォーマンスを上回る。
  論文  参考訳（メタデータ） (2022-04-05T11:18:44Z)
• Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy [2.969705152497174]
  本稿では,BARTの適用範囲を任意の一般化BARTモデルに拡大する。 我々のアルゴリズムは、ユーザがその勾配とフィッシャー情報を(任意に)計算できることのみを要求する。 我々は生存分析、構造化ヘテロスケダスティック回帰、ガンマ形状回帰の例を考察する。
  論文  参考訳（メタデータ） (2022-02-20T22:52:07Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Relational Boosted Regression Trees [1.14179290793997]
  多くのタスクはデータベースに格納されたデータを使用して、強化された回帰ツリーモデルをトレーニングする。 回帰木をトレーニングするためのグレディミネーションアルゴリズムを適応させる。
  論文  参考訳（メタデータ） (2021-07-25T20:29:28Z)
• Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
  本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。 実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
  論文  参考訳（メタデータ） (2021-06-03T17:05:40Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。