論文の概要: On Mixing Rates for Bayesian CART

• arxiv url: http://arxiv.org/abs/2306.00126v1
• Date: Wed, 31 May 2023 19:04:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 19:47:12.598464
• Title: On Mixing Rates for Bayesian CART
• Title（参考訳）: ベイジアンCARTの混合速度について
• Authors: Jungeum Kim, Veronika Rockova
• Abstract要約: 本研究は,BART(Bayesian Additive Regression Trees)のビルディングブロックを形成するBayesian CARTアルゴリズムに焦点を当てる。 種々の提案分布の下で, 典型的な後面の混合時間について, 上界を導出する。 徹底的なシミュレーション研究は、様々な提案の下でスパイク・アンド・スラブ先行とベイジアンCARTの相違を強調している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of Bayesian inference with MCMC depends critically on Markov chains rapidly reaching the posterior distribution. Despite the plentitude of inferential theory for posteriors in Bayesian non-parametrics, convergence properties of MCMC algorithms that simulate from such ideal inferential targets are not thoroughly understood. This work focuses on the Bayesian CART algorithm which forms a building block of Bayesian Additive Regression Trees (BART). We derive upper bounds on mixing times for typical posteriors under various proposal distributions. Exploiting the wavelet representation of trees, we provide sufficient conditions for Bayesian CART to mix well (polynomially) under certain hierarchical connectivity restrictions on the signal. We also derive a negative result showing that Bayesian CART (based on simple grow and prune steps) cannot reach deep isolated signals in faster than exponential mixing time. To remediate myopic tree exploration, we propose Twiggy Bayesian CART which attaches/detaches entire twigs (not just single nodes) in the proposal distribution. We show polynomial mixing of Twiggy Bayesian CART without assuming that the signal is connected on a tree. Going further, we show that informed variants achieve even faster mixing. A thorough simulation study highlights discrepancies between spike-and-slab priors and Bayesian CART under a variety of proposals.
• Abstract（参考訳）: MCMCによるベイズ推定の成功は、マルコフ連鎖が急速に後部分布に達することに依存している。 ベイズ非パラメトリックの後方への推論理論が豊富にあるにもかかわらず、そのような理想的な推論対象からシミュレートするMCMCアルゴリズムの収束特性は、完全には理解されていない。 本研究は,BART(Bayesian Additive Regression Trees)のビルディングブロックを形成するBayesian CARTアルゴリズムに焦点を当てる。 種々の提案分布の下で, 典型的な後部における混合時間の上限を導出する。 木々のウェーブレット表現を爆発させると、信号の階層的な接続制限の下でベイジアンCARTがうまく(ポリノミクス的に)混合するのに十分な条件を提供する。 また, ベイズカート(単純な成長ステップとプルーンステップに基づく)が指数的混合時間よりも早く, 深く孤立した信号に到達できないことを示す負の結果も導出する。 筋電図探索を即時的に行うため,提案した分布に小枝全体(単一ノードだけでなく)を取り付け/切り離すTwiggy Bayesian CARTを提案する。 トウィッヒ・ベイジアンCARTの多項式混合は、信号が木に接続されていると仮定せずに示す。 さらに,インフォームド変種がより高速な混合を実現することを示す。 徹底的なシミュレーション研究は、様々な提案の下でスパイク・アンド・スラブ先行とベイジアンCARTの相違を強調している。

関連論文リスト

• The Computational Curse of Big Data for Bayesian Additive Regression Trees: A Hitting Time Analysis [8.36826153664925]
  BARTサンプルは、しばしばゆっくり収束し、他の研究者による経験的観察を確認する。 n$が増加するにつれて、近似的なBART後部は、正確な後部とますます異なる。
  論文  参考訳（メタデータ） (2024-06-28T14:45:29Z)
• Decentralized Randomly Distributed Multi-agent Multi-armed Bandit with Heterogeneous Rewards [14.822625665220068]
  環境によって提供される時間依存ランダムグラフによって複数のクライアントが接続される分散マルチエージェントマルチアームバンディット問題について検討する。 目標は、コラボレーションを通じてシステム全体の後悔を最小化することです。
  論文  参考訳（メタデータ） (2023-06-08T22:37:24Z)
• Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
  我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。 実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-30T06:17:35Z)
• Bayesian Pseudo-Coresets via Contrastive Divergence [5.479797073162603]
  対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。 これは擬似コアセット構築プロセスにおける近似の必要性を排除する。 複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T17:13:50Z)
• A Mixing Time Lower Bound for a Simplified Version of BART [5.149859291357858]
  我々は,BARTの簡易バージョンに対する混合時間に関する第1の下位境界を提供する。 混合時間とデータ点数との新たな接続にインスパイアされ、BART上で厳密なシミュレーションを行う。 我々は,BARTの混合時間がデータ点数とともに増加することを定性的に示す。
  論文  参考訳（メタデータ） (2022-10-17T18:45:36Z)
• Online, Informative MCMC Thinning with Kernelized Stein Discrepancy [14.218897034491125]
  KSD閾値を超える後部サンプルのみを保持するMCMC変異体を提案する。 我々は、KSD薄膜のいくつかの設定に対して収束と複雑性のトレードオフを確立する。 コードは atcolehawkins.com/colehawkins/KSD-Thinning で入手できる。
  論文  参考訳（メタデータ） (2022-01-18T17:13:21Z)
• Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
  トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。 性能は不特定な事前条件で優雅に低下することを示す。
  論文  参考訳（メタデータ） (2021-07-03T23:17:26Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• On Batch Normalisation for Approximate Bayesian Inference [102.94525205971873]
  バッチ正規化は証拠の下限(ELBO)の最適性に影響しないことを示す。 また,モンテカルロバッチ正規化(MCBN)アルゴリズムについても検討し,MCDropoutと平行な近似推論手法を提案する。
  論文  参考訳（メタデータ） (2020-12-24T12:40:11Z)
• Learning Halfspaces with Tsybakov Noise [50.659479930171585]
  テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。 真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
  論文  参考訳（メタデータ） (2020-06-11T14:25:02Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。