論文の概要: Theory of Posterior Concentration for Generalized Bayesian Additive
Regression Trees
- arxiv url: http://arxiv.org/abs/2304.12505v1
- Date: Tue, 25 Apr 2023 00:52:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 22:16:04.991405
- Title: Theory of Posterior Concentration for Generalized Bayesian Additive
Regression Trees
- Title(参考訳): 一般化ベイズ加法回帰木に対する後方濃度の理論
- Authors: Enakshi Saha
- Abstract要約: ベイズ木とその加法的アンサンブルに対する一般化された枠組みについて述べる。
応答分布について十分な条件を導出し, 後部が最小マックスで集中する条件を対数係数まで導出する。
- 参考スコア(独自算出の注目度): 0.685316573653194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian Additive Regression Trees (BART) are a powerful semiparametric
ensemble learning technique for modeling nonlinear regression functions.
Although initially BART was proposed for predicting only continuous and binary
response variables, over the years multiple extensions have emerged that are
suitable for estimating a wider class of response variables (e.g. categorical
and count data) in a multitude of application areas. In this paper we describe
a Generalized framework for Bayesian trees and their additive ensembles where
the response variable comes from an exponential family distribution and hence
encompasses a majority of these variants of BART. We derive sufficient
conditions on the response distribution, under which the posterior concentrates
at a minimax rate, up to a logarithmic factor. In this regard our results
provide theoretical justification for the empirical success of BART and its
variants.
- Abstract(参考訳): Bayesian Additive Regression Trees (BART) は非線形回帰関数をモデル化するための強力な半パラメトリックアンサンブル学習技術である。
当初、BARTは連続した応答変数とバイナリな応答変数のみを予測するために提案されていたが、長年にわたって、様々なアプリケーション領域においてより広範な応答変数(例えばカテゴリやカウントデータ)を推定するのに適する複数の拡張が出現してきた。
本稿では、ベイズ木に対する一般化された枠組みと、応答変数が指数関数的なファミリー分布から来る付加的なアンサンブルについて述べる。
応答分布について十分な条件を導出し, 後部が最小マックスで集中する条件を対数係数まで導出する。
本稿では,BARTとその変種を実証的に成功させる理論的根拠を提供する。
関連論文リスト
- Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。
我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
論文 参考訳(メタデータ) (2023-10-12T10:56:25Z) - flexBART: Flexible Bayesian regression trees with categorical predictors [1.0152838128195467]
ベイズ加法回帰木 (BART) のほとんどの実装は、カテゴリ予測を符号化し、それぞれを複数のバイナリインジケータに置き換えている。
決定ツリーノードの両ブランチに複数のレベルを割り当てるレグレッションツリーでBARTを再実装します。
flexBARTパッケージで利用可能な再実装は、しばしばサンプル外の予測性能を改善し、より大きなデータセットにスケールする。
論文 参考訳(メタデータ) (2022-11-08T18:52:37Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Training Discrete Deep Generative Models via Gapped Straight-Through
Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。
この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。
実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文 参考訳(メタデータ) (2022-06-15T01:46:05Z) - GP-BART: a novel Bayesian additive regression trees approach using
Gaussian processes [1.03590082373586]
GP-BARTモデル(GP-BART model)は、すべての木間の各終端ノードの予測にGP先行を仮定することで制限に対処するBARTの拡張である。
モデルの有効性は、シミュレーションおよび実世界のデータへの応用を通じて実証され、様々なシナリオにおける従来のモデリング手法のパフォーマンスを上回る。
論文 参考訳(メタデータ) (2022-04-05T11:18:44Z) - An Intermediate-level Attack Framework on The Basis of Linear Regression [89.85593878754571]
本論文はECCVにおいて,いくつかのベースライン対向例の転送性を改善するため,中間レベルアタック(中間レベルアタック)を提案し,本研究を実質的に拡張するものである。
我々は,中間レベルの相違点(対角的特徴と良性的特徴)から,対角的例の分類的損失への直接的な線形写像の確立を提唱する。
1) 様々な線形回帰モデルがマッピングを確立するために考慮可能であること,2) 最終的に得られた中間レベル差の大きさが逆転率と線形に相関していること,3) ベースラインアタックを複数回実行することで,さらなる性能向上が達成できること,などが示される。
論文 参考訳(メタデータ) (2022-03-21T03:54:53Z) - Generalized Bayesian Additive Regression Trees Models: Beyond
Conditional Conjugacy [2.969705152497174]
本稿では,BARTの適用範囲を任意の一般化BARTモデルに拡大する。
我々のアルゴリズムは、ユーザがその勾配とフィッシャー情報を(任意に)計算できることのみを要求する。
我々は生存分析、構造化ヘテロスケダスティック回帰、ガンマ形状回帰の例を考察する。
論文 参考訳(メタデータ) (2022-02-20T22:52:07Z) - Random Forest Weighted Local Fr\'echet Regression with Random Objects [52.25304029942005]
本稿では,新しいランダム森林重み付き局所Fr'echet回帰パラダイムを提案する。
最初の方法は,これらの重みを局所平均として利用し,条件付きFr'echet平均を解く。
第二の手法は局所線形Fr'echet回帰を行い、どちらも既存のFr'echet回帰法を大幅に改善した。
論文 参考訳(メタデータ) (2022-02-10T09:10:59Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳(メタデータ) (2021-12-07T01:23:20Z) - Semi-parametric Bayesian Additive Regression Trees [0.0]
ベイジアン付加回帰木(BART)に基づく新しい半パラメトリックモデルを提案する。
本手法では, 応答変数を線形予測器とBARTモデルで近似し, 第一成分が主効果を推定する。
我々は,新たな半パラメトリックBARTの性能が回帰モデルや他の木に基づく手法と比較して競争力があることを実証した。
論文 参考訳(メタデータ) (2021-08-17T13:58:44Z) - Large Scale Prediction with Decision Trees [9.917147243076645]
本稿では,分類・回帰木(CART)とC4.5手法を用いて構築した決定木が,回帰・分類タスクに一貫性があることを示す。
この分析における重要なステップは、不平等の確立であり、不特定モデルの適合性と複雑性のトレードオフを正確に評価することができる。
論文 参考訳(メタデータ) (2021-04-28T16:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。