論文の概要: An Infinite BART model
- arxiv url: http://arxiv.org/abs/2511.20087v1
- Date: Tue, 25 Nov 2025 09:01:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-26 17:37:04.370063
- Title: An Infinite BART model
- Title(参考訳): 無限BARTモデル
- Authors: Marco Battiston, Yu Luo,
- Abstract要約: 本稿では,2つの特徴を持つBARTモデルの一般化を提案する。
与えられたデータを使って自動的に決定木数を選択する。
各データポイントは、それらすべてではなく、弱い学習者の選択のみを使用することができる。
- 参考スコア(独自算出の注目度): 5.209680411062657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian additive regression trees (BART) are popular Bayesian ensemble models used in regression and classification analysis. Under this modeling framework, the regression function is approximated by an ensemble of decision trees, interpreted as weak learners that capture different features of the data. In this work, we propose a generalization of the BART model that has two main features: first, it automatically selects the number of decision trees using the given data; second, the model allows clusters of observations to have different regression functions since each data point can only use a selection of weak learners, instead of all of them. This model generalization is accomplished by including a binary weight matrix in the conditional distribution of the response variable, which activates only a specific subset of decision trees for each observation. Such a matrix is endowed with an Indian Buffet process prior, and sampled within the MCMC sampler, together with the other BART parameters. We then compare the Infinite BART model with the classic one on simulated and real datasets. Specifically, we provide examples illustrating variable importance, partial dependence and causal estimation.
- Abstract(参考訳): ベイズ加法的回帰木 (BART) は回帰解析や分類解析に用いられているベイズアンサンブルモデルである。
このモデリングフレームワークでは、回帰関数は決定木の集合によって近似され、データの異なる特徴を捉える弱い学習者として解釈される。
本研究では,与えられたデータを用いて決定木を自動選択するBARTモデルの一般化を提案する。第2に,各データポイントがすべてのデータではなく,弱い学習者の選択しか使用できないため,観測対象のクラスタが異なる回帰関数を持つことができる。
このモデル一般化は、応答変数の条件分布に二乗重み行列を含め、各観測に対する決定木の特定のサブセットのみを活性化することにより達成される。
このような行列は以前にインド・バフェットのプロセスで提供され、MCMCサンプリング器内で他のBARTパラメータとともにサンプリングされる。
次に、Infinite BARTモデルと、シミュレーションと実際のデータセットの古典的なモデルを比較します。
具体的には、変数の重要性、部分的依存、因果推定の例を示す。
関連論文リスト
- Transformers meet Stochastic Block Models: Attention with Data-Adaptive
Sparsity and Cost [53.746169882193456]
最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。
本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。
我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
論文 参考訳(メタデータ) (2022-10-27T15:30:52Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳(メタデータ) (2022-10-05T09:17:27Z) - Hierarchical Embedded Bayesian Additive Regression Trees [0.0]
HE-BARTは、レグレッションツリーのセットの終端ノードレベルにランダムエフェクトを含めることができる。
シミュレーションおよび実世界の例を用いて、HE-BARTは標準的な混合効果モデルのサンプルデータセットの多くに対して優れた予測が得られることを示した。
この論文の今後のバージョンでは、より大きく、より高度なデータセットと構造での使用について概説する。
論文 参考訳(メタデータ) (2022-04-14T19:56:03Z) - GP-BART: a novel Bayesian additive regression trees approach using
Gaussian processes [1.03590082373586]
GP-BARTモデル(GP-BART model)は、すべての木間の各終端ノードの予測にGP先行を仮定することで制限に対処するBARTの拡張である。
モデルの有効性は、シミュレーションおよび実世界のデータへの応用を通じて実証され、様々なシナリオにおける従来のモデリング手法のパフォーマンスを上回る。
論文 参考訳(メタデータ) (2022-04-05T11:18:44Z) - CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。
CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。
我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
論文 参考訳(メタデータ) (2021-10-26T20:14:30Z) - Flexible Model Aggregation for Quantile Regression [92.63075261170302]
量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。
条件付き量子モデルの任意の数を集約する手法について検討する。
この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
論文 参考訳(メタデータ) (2021-02-26T23:21:16Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z) - Particle-Gibbs Sampling For Bayesian Feature Allocation Models [77.57285768500225]
最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。
単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。
このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。
我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
論文 参考訳(メタデータ) (2020-01-25T22:11:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。