論文の概要: A Mixing Time Lower Bound for a Simplified Version of BART
- arxiv url: http://arxiv.org/abs/2210.09352v1
- Date: Mon, 17 Oct 2022 18:45:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 13:11:10.828616
- Title: A Mixing Time Lower Bound for a Simplified Version of BART
- Title（参考訳）: BARTの簡易化のための混合時間下界
- Authors: Omer Ronen, Theo Saarinen, Yan Shuo Tan, James Duncan and Bin Yu
- Abstract要約: 我々は,BARTの簡易バージョンに対する混合時間に関する第1の下位境界を提供する。
混合時間とデータ点数との新たな接続にインスパイアされ、BART上で厳密なシミュレーションを行う。
我々は,BARTの混合時間がデータ点数とともに増加することを定性的に示す。
- 参考スコア（独自算出の注目度）: 5.149859291357858
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian Additive Regression Trees (BART) is a popular Bayesian
non-parametric regression algorithm. The posterior is a distribution over sums
of decision trees, and predictions are made by averaging approximate samples
from the posterior.
The combination of strong predictive performance and the ability to provide
uncertainty measures has led BART to be commonly used in the social sciences,
biostatistics, and causal inference.
BART uses Markov Chain Monte Carlo (MCMC) to obtain approximate posterior
samples over a parameterized space of sums of trees, but it has often been
observed that the chains are slow to mix.
In this paper, we provide the first lower bound on the mixing time for a
simplified version of BART in which we reduce the sum to a single tree and use
a subset of the possible moves for the MCMC proposal distribution. Our lower
bound for the mixing time grows exponentially with the number of data points.
Inspired by this new connection between the mixing time and the number of
data points, we perform rigorous simulations on BART. We show qualitatively
that BART's mixing time increases with the number of data points.
The slow mixing time of the simplified BART suggests a large variation
between different runs of the simplified BART algorithm and a similar large
variation is known for BART in the literature. This large variation could
result in a lack of stability in the models, predictions, and posterior
intervals obtained from the BART MCMC samples.
Our lower bound and simulations suggest increasing the number of chains with
the number of data points.
- Abstract（参考訳）: Bayesian Additive Regression Trees (BART) はベイズ的な非パラメトリック回帰アルゴリズムである。
後部は決定木の総和上の分布であり、後部から近似サンプルを平均化して予測を行う。
強い予測性能と不確実性対策を提供する能力の組み合わせにより、BARTは社会科学、バイオ統計学、因果推論で一般的に使用されるようになった。
バートはマルコフ連鎖モンテカルロ(mcmc)を使って、木の総和のパラメータ化された空間上で近似的な後方サンプルを得るが、鎖の混合が遅いことがしばしば観察されている。
本稿では,BARTの簡易版における混合時間に関する第1の下位値として,総和を1木に減らし,MCMC提案分布の可能な移動のサブセットを使用する。
混合時間の低い境界は、データポイントの数とともに指数関数的に増加する。
混合時間とデータ点数との新たな接続に触発されて,BART上で厳密なシミュレーションを行う。
我々は,BARTの混合時間がデータ点数とともに増加することを定性的に示す。
単純化されたBARTの遅い混合時間は、単純化されたBARTアルゴリズムの異なる実行と、文学においてBARTに類似した大きな変動が知られていることを示唆している。
この大きな変動は、BART MCMCサンプルから得られたモデル、予測、後続間隔の安定性の欠如をもたらす可能性がある。
我々の低い境界とシミュレーションは、データポイントの数で連鎖の数を増やすことを示唆している。
関連論文リスト
- The Computational Curse of Big Data for Bayesian Additive Regression Trees: A Hitting Time Analysis [8.36826153664925]
BARTサンプルは、しばしばゆっくり収束し、他の研究者による経験的観察を確認する。
n$が増加するにつれて、近似的なBART後部は、正確な後部とますます異なる。
論文 参考訳（メタデータ） (2024-06-28T14:45:29Z) - ASBART:Accelerated Soft Bayes Additive Regression Trees [8.476756500467689]
ソフトBARTは既存のベイジアン・サマー・オブ・ツリー(英語版)モデルにおいて実用的にもヒート的にも改善する。
BARTと比較すると、デフォルト設定で計算を完了するのに約20回以上使用される。
我々は,アクセラレーションソフトBART(ASBART)と呼ばれるBARTの変種を提案した。
論文 参考訳（メタデータ） (2023-10-21T11:27:42Z) - On Mixing Rates for Bayesian CART [0.0]
本研究は,BART(Bayesian Additive Regression Trees)のビルディングブロックを形成するBayesian CARTアルゴリズムに焦点を当てる。
種々の提案分布の下で, 典型的な後面の混合時間について, 上界を導出する。
徹底的なシミュレーション研究は、様々な提案の下でスパイク・アンド・スラブ先行とベイジアンCARTの相違を強調している。
論文 参考訳（メタデータ） (2023-05-31T19:04:28Z) - Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。
実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-05-30T06:17:35Z) - An analysis of over-sampling labeled data in semi-supervised learning
with FixMatch [66.34968300128631]
ほとんどの半教師付き学習手法は、ミニバッチを訓練する際にラベルをオーバーサンプルする。
本稿では,この実践が学習と方法を改善するかどうかを考察する。
ラベル付けの有無に関わらず、トレーニングデータから各ミニバッチを均一にサンプリングする別の設定と比較する。
論文 参考訳（メタデータ） (2022-01-03T12:22:26Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-22T06:26:29Z) - Accounting for shared covariates in semi-parametric Bayesian additive regression trees [0.0]
ベイズ加法回帰木(BART)に基づく半パラメトリックモデルの拡張を提案する。
このアプローチの主な斬新さは、このバイアスに対処するために、BARTのツリージェネレーションの動きを変える方法にあります。
回帰モデル、半パラメトリックBARTの代替定式化、その他の木に基づく手法と比較した場合の競合性能を示す。
論文 参考訳（メタデータ） (2021-08-17T13:58:44Z) - Covariance-Free Sparse Bayesian Learning [62.24008859844098]
共分散行列の明示的な反転を回避する新しいSBL推論アルゴリズムを導入する。
私たちの手法は、既存のベースラインよりも数千倍も高速です。
我々は,SBLが高次元信号回復問題に難なく対処できる新しいアルゴリズムについて紹介する。
論文 参考訳（メタデータ） (2021-05-21T16:20:07Z) - Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。
より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。
関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
論文 参考訳（メタデータ） (2020-10-10T08:48:41Z) - Bayesian Additive Regression Trees with Model Trees [0.0]
モデルツリーBART(MOTR-BART)と呼ばれるBARTの拡張を導入する。
MOTR-BARTは、分数定数ではなく、ノードレベルでの分数線形関数を考える。
提案手法では, 局所的な線形性がより効率的に取得され, BARTと同等以上の性能を達成するために, 木を少なくする。
論文 参考訳（メタデータ） (2020-06-12T22:19:58Z) - Cross-Iteration Batch Normalization [67.83430009388678]
本稿では,CBN(Cross-It Batch Normalization)を提案する。
CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
論文 参考訳（メタデータ） (2020-02-13T18:52:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。