論文の概要: RJHMC-Tree for Exploration of the Bayesian Decision Tree Posterior
- arxiv url: http://arxiv.org/abs/2312.01577v1
- Date: Mon, 4 Dec 2023 02:23:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 16:33:16.123429
- Title: RJHMC-Tree for Exploration of the Bayesian Decision Tree Posterior
- Title(参考訳): rjhmc-tree によるベイズ決定木の後方探索
- Authors: Jodie A. Cochrane, Adrian G. Wills, Sarah J. Johnson
- Abstract要約: 本論文はベイジアンアプローチを用いてデータから決定木を学習することを目的としている。
ハミルトンモンテカルロ (HMC) アプローチを用いてベイズ決定木の後方をより効率的に探索する。
- 参考スコア(独自算出の注目度): 1.3351610617039973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision trees have found widespread application within the machine learning
community due to their flexibility and interpretability. This paper is directed
towards learning decision trees from data using a Bayesian approach, which is
challenging due to the potentially enormous parameter space required to span
all tree models. Several approaches have been proposed to combat this
challenge, with one of the more successful being Markov chain Monte Carlo
(MCMC) methods. The efficacy and efficiency of MCMC methods fundamentally rely
on the quality of the so-called proposals, which is the focus of this paper. In
particular, this paper investigates using a Hamiltonian Monte Carlo (HMC)
approach to explore the posterior of Bayesian decision trees more efficiently
by exploiting the geometry of the likelihood within a global update scheme. Two
implementations of the novel algorithm are developed and compared to existing
methods by testing against standard datasets in the machine learning and
Bayesian decision tree literature. HMC-based methods are shown to perform
favourably with respect to predictive test accuracy, acceptance rate, and tree
complexity.
- Abstract(参考訳): 意思決定木はその柔軟性と解釈性のため、機械学習コミュニティで広く利用されている。
本稿では,すべての木モデルにまたがるパラメータ空間が潜在的に巨大なため,ベイズ法を用いてデータから決定木を学ぶことを目的とした。
この課題に対処するためにいくつかのアプローチが提案されており、マルコフ連鎖モンテカルロ法(MCMC)がより成功した。
MCMC法の有効性と効率は,本論文の焦点であるいわゆる提案の質に大きく依存している。
特に,ハミルトン・モンテカルロ (HMC) 法を用いてベイズ決定木の後方をより効率的に探索し,地球規模の更新スキームにおける可能性の幾何を利用して検討する。
このアルゴリズムの2つの実装が開発され、機械学習とベイズ決定木文献における標準データセットに対するテストによって既存の手法と比較される。
HMCに基づく手法は, 予測テスト精度, 受入率, 樹木の複雑さに対して良好に機能する。
関連論文リスト
- Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。
本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
論文 参考訳(メタデータ) (2024-11-18T16:15:17Z) - LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。
このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
論文 参考訳(メタデータ) (2024-10-03T18:12:29Z) - Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。
DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。
非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
論文 参考訳(メタデータ) (2024-08-21T05:09:53Z) - Learning accurate and interpretable decision trees [27.203303726977616]
我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。
本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。
また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
論文 参考訳(メタデータ) (2024-05-24T20:10:10Z) - Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models [0.0]
本稿では,ガウスのTS-SBP混合に対する計算コストの少ない学習アルゴリズムを提案する。
主な課題は、すべての可能な木に対する和の効率的な計算である。
論文 参考訳(メタデータ) (2024-05-01T08:36:13Z) - Divide, Conquer, Combine Bayesian Decision Tree Sampling [1.1879716317856945]
決定木は、その柔軟性と解釈可能性のために予測モデルとして一般的に使用される。
本稿では,ベイズ推定手法を用いて決定木予測の不確かさを定量化する。
論文 参考訳(メタデータ) (2024-03-26T23:14:15Z) - Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。
実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
論文 参考訳(メタデータ) (2023-05-30T06:17:35Z) - Bayesian Decision Trees via Tractable Priors and Probabilistic
Context-Free Grammars [7.259767735431625]
ベイズ決定木を学習するための新しい基準を提案する。
BCART-PCFGは、データから得られる木々間の後部分布から決定木を効率的にサンプリングすることができる。
BCART-PCFGで採取した木は、優雅に構築された決定木に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-02-15T00:17:41Z) - An Efficient Dynamic Sampling Policy For Monte Carlo Tree Search [0.0]
我々は、強化学習の枠組みであるモンテカルロ木探索(MCTS)の中で、人気の木に基づく探索戦略を考える。
本稿では,木根ノードにおける最適な行動の選択の確率を最大化するために,限られた計算予算を効率的に割り当てる動的サンプリングツリーポリシーを提案する。
論文 参考訳(メタデータ) (2022-04-26T02:39:18Z) - Rectified Decision Trees: Exploring the Landscape of Interpretable and
Effective Machine Learning [66.01622034708319]
我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。
我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。
次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
論文 参考訳(メタデータ) (2020-08-21T10:45:25Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳(メタデータ) (2020-07-24T17:06:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。