論文の概要: On the Gaussian process limit of Bayesian Additive Regression Trees

• arxiv url: http://arxiv.org/abs/2410.20289v1
• Date: Sat, 26 Oct 2024 23:18:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:54.636649
• Title: On the Gaussian process limit of Bayesian Additive Regression Trees
• Title（参考訳）: ベイズ加法的回帰木のガウス過程極限について
• Authors: Giacomo Petrillo,
• Abstract要約: ベイズ付加回帰木(Bayesian Additive Regression Trees, BART)は、ベイズ回帰法の一種。 無限木の極限において、それはガウス過程(GP)回帰と同値となる。 本研究は,BARTとGPレグレッションの理解と開発を行う新しい方法を開く。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Bayesian Additive Regression Trees (BART) is a nonparametric Bayesian regression technique of rising fame. It is a sum-of-decision-trees model, and is in some sense the Bayesian version of boosting. In the limit of infinite trees, it becomes equivalent to Gaussian process (GP) regression. This limit is known but has not yet led to any useful analysis or application. For the first time, I derive and compute the exact BART prior covariance function. With it I implement the infinite trees limit of BART as GP regression. Through empirical tests, I show that this limit is worse than standard BART in a fixed configuration, but also that tuning the hyperparameters in the natural GP way yields a competitive method, although a properly tuned BART is still superior. The advantage of using a GP surrogate of BART is the analytical likelihood, which simplifies model building and sidesteps the complex BART MCMC. More generally, this study opens new ways to understand and develop BART and GP regression. The implementation of BART as GP is available in the Python package https://github.com/Gattocrucco/lsqfitgp .
• Abstract（参考訳）: ベイズ付加回帰木(Bayesian Additive Regression Trees, BART)は、ベイズ回帰法の一種。 これは決定-決定-木モデルであり、何らかの意味でベイズ版のブースティングである。 無限木の極限において、それはガウス過程(GP)回帰と同値となる。 この制限は知られているが、有用な分析や応用には至っていない。 初めて、正確なBART事前共分散関数を導出し、計算する。 これにより、BARTの無限木制限をGP回帰として実装する。 実験により、この制限は固定された構成では標準BARTよりも悪いが、自然GP方法でのハイパーパラメータのチューニングは、適切に調整されたBARTが優れているにもかかわらず、競争的な方法をもたらすことを示した。 BARTのGPサロゲートを使用する利点は、モデル構築を単純化し、複雑なBART MCMCをサイドステップする分析的可能性である。 より一般的に、この研究はBARTとGPレグレッションの理解と開発のための新しい方法を開く。 GPとしてのBARTの実装はPythonパッケージ https://github.com/Gattocrucco/lsqfitgp で利用可能である。

関連論文リスト

• Very fast Bayesian Additive Regression Trees on GPU [0.0]
  単一のCPUコアと比較して最大200倍高速なGPU対応のBARTを実装し、XGBoostで実行時にBARTと競合する。 この実装はPythonパッケージのbartzで利用できる。
  論文  参考訳（メタデータ） (2024-10-30T17:29:03Z)
• ASBART:Accelerated Soft Bayes Additive Regression Trees [8.476756500467689]
  ソフトBARTは既存のベイジアン・サマー・オブ・ツリー(英語版)モデルにおいて実用的にもヒート的にも改善する。 BARTと比較すると、デフォルト設定で計算を完了するのに約20回以上使用される。 我々は,アクセラレーションソフトBART(ASBART)と呼ばれるBARTの変種を提案した。
  論文  参考訳（メタデータ） (2023-10-21T11:27:42Z)
• Revisiting Weighted Strategy for Non-stationary Parametric Bandits [82.1942459195896]
  本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。 より単純な重みに基づくアルゴリズムを生成する改良された分析フレームワークを提案する。 我々の新しいフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
  論文  参考訳（メタデータ） (2023-03-05T15:11:14Z)
• SoftBart: Soft Bayesian Additive Regression Trees [2.969705152497174]
  本稿では,LineroとYangのSoft BARTアルゴリズムに適合するSoftBartパッケージを提案する。 このパッケージの主な目標は、より大きなモデルにBARTを組み込むことである。 標準的な予測タスクにこのパッケージを使う方法と、より大きなモデルにBARTモデルを組み込む方法の両方を示します。
  論文  参考訳（メタデータ） (2022-10-28T19:25:45Z)
• GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes [1.03590082373586]
  GP-BARTモデル(GP-BART model)は、すべての木間の各終端ノードの予測にGP先行を仮定することで制限に対処するBARTの拡張である。 モデルの有効性は、シミュレーションおよび実世界のデータへの応用を通じて実証され、様々なシナリオにおける従来のモデリング手法のパフォーマンスを上回る。
  論文  参考訳（メタデータ） (2022-04-05T11:18:44Z)
• Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times [119.41129787351092]
  GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
  論文  参考訳（メタデータ） (2022-01-30T20:42:14Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• BRST-BV Quantum Actions for Constrained Totally-Symmetric Integer HS Fields [77.34726150561087]
  非最小制約BRST-BVラグランジアン定式化は、$d$次元ミンコフスキー空間における完全対称な質量を持たないHS場に対して提示される。 フォック空間量子作用は、全BRST-BV作用におけるゲージ固定フェルミオン$Psi$の変分微分により、全一般化場-反場ベクトルのシフトとして構成される。
  論文  参考訳（メタデータ） (2020-10-29T16:40:32Z)
• Bayesian Additive Regression Trees with Model Trees [0.0]
  モデルツリーBART(MOTR-BART)と呼ばれるBARTの拡張を導入する。 MOTR-BARTは、分数定数ではなく、ノードレベルでの分数線形関数を考える。 提案手法では, 局所的な線形性がより効率的に取得され, BARTと同等以上の性能を達成するために, 木を少なくする。
  論文  参考訳（メタデータ） (2020-06-12T22:19:58Z)
• Learning Near Optimal Policies with Low Inherent Bellman Error [115.16037976819331]
  エピソード強化学習における近似線形作用値関数を用いた探索問題について検討する。 我々は,検討した設定に対して最適な統計率を達成するアルゴリズムを用いて,Emphbatch仮定のみを用いて探索を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-29T02:02:40Z)
• Near-linear Time Gaussian Process Optimization with Adaptive Batching and Resparsification [119.41129787351092]
  BBKBは非回帰GP最適化アルゴリズムで、ほぼ直線的に実行し、バッチで候補を選択する。 また,同じバウンダリを用いて,スパルスGP近似の更新コストを適応的に遅延させることで,ステップ毎の償却コストをほぼ一定に抑えることができることを示した。
  論文  参考訳（メタデータ） (2020-02-23T17:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。