論文の概要: Divide, Conquer, Combine Bayesian Decision Tree Sampling

• arxiv url: http://arxiv.org/abs/2403.18147v1
• Date: Tue, 26 Mar 2024 23:14:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 18:55:29.772599
• Title: Divide, Conquer, Combine Bayesian Decision Tree Sampling
• Title（参考訳）: 分枝, コンカー, ベイズ決定木サンプリングを併用する
• Authors: Jodie A. Cochrane, Adrian Wills, Sarah J. Johnson,
• Abstract要約: 決定木は、その柔軟性と解釈可能性のために予測モデルとして一般的に使用される。 本稿では,ベイズ推定手法を用いて決定木予測の不確かさを定量化する。
• 参考スコア（独自算出の注目度）: 1.1879716317856945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision trees are commonly used predictive models due to their flexibility and interpretability. This paper is directed at quantifying the uncertainty of decision tree predictions by employing a Bayesian inference approach. This is challenging because these approaches need to explore both the tree structure space and the space of decision parameters associated with each tree structure. This has been handled by using Markov Chain Monte Carlo (MCMC) methods, where a Markov Chain is constructed to provide samples from the desired Bayesian estimate. Importantly, the structure and the decision parameters are tightly coupled; small changes in the tree structure can demand vastly different decision parameters to provide accurate predictions. A challenge for existing MCMC approaches is proposing joint changes in both the tree structure and the decision parameters that result in efficient sampling. This paper takes a different approach, where each distinct tree structure is associated with a unique set of decision parameters. The proposed approach, entitled DCC-Tree, is inspired by the work in Zhou et al. [23] for probabilistic programs and Cochrane et al. [4] for Hamiltonian Monte Carlo (HMC) based sampling for decision trees. Results show that DCC-Tree performs comparably to other HMC-based methods and better than existing Bayesian tree methods while improving on consistency and reducing the per-proposal complexity.
• Abstract（参考訳）: 決定木は、その柔軟性と解釈可能性のために予測モデルとして一般的に使用される。 本稿では,ベイズ推定手法を用いて決定木予測の不確かさを定量化する。 これらのアプローチでは、木構造空間と、各木構造に関連する決定パラメータの空間の両方を探索する必要があるため、これは難しい。 これはマルコフ連鎖モンテカルロ (MCMC) 法を用いて処理され、所望のベイズ推定値からサンプルを提供するマルコフ連鎖が構築されている。 重要なことは、構造と決定パラメータは密結合であり、ツリー構造の小さな変化は、正確な予測を提供するために、非常に異なる決定パラメータを要求することができる。 既存のMCMCアプローチの課題は、ツリー構造と効率的なサンプリングをもたらす決定パラメータの両方において、共同的な変更を提案することである。 本稿では,各木構造が一意な決定パラメータの集合に関連付けられているという,異なるアプローチをとる。 提案したアプローチはDCC-Treeと題され、確率的プログラムのための Zhou et al [23] と、ハミルトンモンテカルロ (HMC) に基づく決定木サンプリングのための Cochrane et al [4] にインスパイアされている。 その結果,DCC-Tree は他の HMC ベースの手法と相容れない性能を示し,既存のベイズ木法より優れた性能を示し,一貫性の向上とプロポゾス毎の複雑さの低減を図っている。

関連論文リスト

• Learning accurate and interpretable decision trees [27.203303726977616]
  我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。 本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。 また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-24T20:10:10Z)
• Boosting-Based Sequential Meta-Tree Ensemble Construction for Improved Decision Trees [1.8749305679160366]
  決定木は、機械学習分野における最も一般的なアプローチの1つである。 近年,過度に深化した木による過剰適合の問題を解決するために,メタツリーが提案されている。 メタツリーはベイズ決定理論に基づく統計的最適性を保証する。
  論文  参考訳（メタデータ） (2024-02-09T13:08:21Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• RJHMC-Tree for Exploration of the Bayesian Decision Tree Posterior [1.3351610617039973]
  本論文はベイジアンアプローチを用いてデータから決定木を学習することを目的としている。 ハミルトンモンテカルロ (HMC) アプローチを用いてベイズ決定木の後方をより効率的に探索する。
  論文  参考訳（メタデータ） (2023-12-04T02:23:32Z)
• Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
  我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。 実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-30T06:17:35Z)
• Bayesian Decision Trees via Tractable Priors and Probabilistic Context-Free Grammars [7.259767735431625]
  ベイズ決定木を学習するための新しい基準を提案する。 BCART-PCFGは、データから得られる木々間の後部分布から決定木を効率的にサンプリングすることができる。 BCART-PCFGで採取した木は、優雅に構築された決定木に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-02-15T00:17:41Z)
• Contextual Decision Trees [62.997667081978825]
  学習アンサンブルの1つの浅い木を特徴量ベースで選択するための,マルチアームのコンテキスト付きバンドレコメンデーションフレームワークを提案する。 トレーニングされたシステムはランダムフォレスト上で動作し、最終的な出力を提供するためのベース予測器を動的に識別する。
  論文  参考訳（メタデータ） (2022-07-13T17:05:08Z)
• Decision Machines: Congruent Decision Trees [0.0]
  本稿では,ブール試験を二進ベクトル空間に埋め込み,木構造を行列として表現する決定機械を提案する。 我々は,決定木と注意機構の一致を探求し,決定木を最適化し,予測力を増強するための新たな道を開く。
  論文  参考訳（メタデータ） (2021-01-27T12:23:24Z)
• SGA: A Robust Algorithm for Partial Recovery of Tree-Structured Graphical Models with Noisy Samples [75.32013242448151]
  ノードからの観測が独立しているが非識別的に分散ノイズによって破損した場合、Ising Treeモデルの学習を検討する。 Katiyarら。 (2020) は, 正確な木構造は復元できないが, 部分木構造を復元できることを示した。 統計的に堅牢な部分木回復アルゴリズムであるSymmetrized Geometric Averaging(SGA)を提案する。
  論文  参考訳（メタデータ） (2021-01-22T01:57:35Z)
• Convex Polytope Trees [57.56078843831244]
  コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。 木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
  論文  参考訳（メタデータ） (2020-10-21T19:38:57Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。