論文の概要: RJHMC-Tree for Exploration of the Bayesian Decision Tree Posterior
- arxiv url: http://arxiv.org/abs/2312.01577v1
- Date: Mon, 4 Dec 2023 02:23:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 16:33:16.123429
- Title: RJHMC-Tree for Exploration of the Bayesian Decision Tree Posterior
- Title(参考訳): rjhmc-tree によるベイズ決定木の後方探索
- Authors: Jodie A. Cochrane, Adrian G. Wills, Sarah J. Johnson
- Abstract要約: 本論文はベイジアンアプローチを用いてデータから決定木を学習することを目的としている。
ハミルトンモンテカルロ (HMC) アプローチを用いてベイズ決定木の後方をより効率的に探索する。
- 参考スコア(独自算出の注目度): 1.3351610617039973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision trees have found widespread application within the machine learning
community due to their flexibility and interpretability. This paper is directed
towards learning decision trees from data using a Bayesian approach, which is
challenging due to the potentially enormous parameter space required to span
all tree models. Several approaches have been proposed to combat this
challenge, with one of the more successful being Markov chain Monte Carlo
(MCMC) methods. The efficacy and efficiency of MCMC methods fundamentally rely
on the quality of the so-called proposals, which is the focus of this paper. In
particular, this paper investigates using a Hamiltonian Monte Carlo (HMC)
approach to explore the posterior of Bayesian decision trees more efficiently
by exploiting the geometry of the likelihood within a global update scheme. Two
implementations of the novel algorithm are developed and compared to existing
methods by testing against standard datasets in the machine learning and
Bayesian decision tree literature. HMC-based methods are shown to perform
favourably with respect to predictive test accuracy, acceptance rate, and tree
complexity.
- Abstract(参考訳): 意思決定木はその柔軟性と解釈性のため、機械学習コミュニティで広く利用されている。
本稿では,すべての木モデルにまたがるパラメータ空間が潜在的に巨大なため,ベイズ法を用いてデータから決定木を学ぶことを目的とした。
この課題に対処するためにいくつかのアプローチが提案されており、マルコフ連鎖モンテカルロ法(MCMC)がより成功した。
MCMC法の有効性と効率は,本論文の焦点であるいわゆる提案の質に大きく依存している。
特に,ハミルトン・モンテカルロ (HMC) 法を用いてベイズ決定木の後方をより効率的に探索し,地球規模の更新スキームにおける可能性の幾何を利用して検討する。
このアルゴリズムの2つの実装が開発され、機械学習とベイズ決定木文献における標準データセットに対するテストによって既存の手法と比較される。
HMCに基づく手法は, 予測テスト精度, 受入率, 樹木の複雑さに対して良好に機能する。
関連論文リスト
- Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。
実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
論文 参考訳(メタデータ) (2023-05-30T06:17:35Z) - Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。
クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。
このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
論文 参考訳(メタデータ) (2023-05-24T11:05:12Z) - Bayesian Decision Trees via Tractable Priors and Probabilistic
Context-Free Grammars [7.259767735431625]
ベイズ決定木を学習するための新しい基準を提案する。
BCART-PCFGは、データから得られる木々間の後部分布から決定木を効率的にサンプリングすることができる。
BCART-PCFGで採取した木は、優雅に構築された決定木に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-02-15T00:17:41Z) - Margin Optimal Classification Trees [0.0]
最適分類木(OCT)問題に対する新しい混合整数定式化法を提案する。
我々のモデルは、Margin Optimal Classification Tree (MARGOT)と呼ばれ、バイナリ分類のためのSupport Vector Machinesの一般化機能を利用する。
提案手法の解釈可能性を高めるため,超平面の局所的疎結合を誘導する特徴選択制約を含む2種類のMARGOTを解析した。
論文 参考訳(メタデータ) (2022-10-19T14:08:56Z) - An Efficient Dynamic Sampling Policy For Monte Carlo Tree Search [0.0]
我々は、強化学習の枠組みであるモンテカルロ木探索(MCTS)の中で、人気の木に基づく探索戦略を考える。
本稿では,木根ノードにおける最適な行動の選択の確率を最大化するために,限られた計算予算を効率的に割り当てる動的サンプリングツリーポリシーを提案する。
論文 参考訳(メタデータ) (2022-04-26T02:39:18Z) - Genetic Adversarial Training of Decision Trees [6.85316573653194]
遺伝的アルゴリズムに基づく決定木のアンサンブルに関する新しい学習手法を提案し、その精度と敵対的な摂動に対する堅牢性を最大化するための決定木を訓練することができる。
本アルゴリズムをMeta-Silvae (MS) というツールに実装し, 対人訓練に用いる参照データセットを用いて実験的に評価した。
論文 参考訳(メタデータ) (2020-12-21T14:05:57Z) - Rectified Decision Trees: Exploring the Landscape of Interpretable and
Effective Machine Learning [66.01622034708319]
我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。
我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。
次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
論文 参考訳(メタデータ) (2020-08-21T10:45:25Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳(メタデータ) (2020-07-24T17:06:55Z) - ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。
ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
論文 参考訳(メタデータ) (2020-03-10T14:34:07Z) - Parameterizing Branch-and-Bound Search Trees to Learn Branching Policies [76.83991682238666]
Branch and Bound (B&B) は、Mixed-Integer Linear Programming Problem (MILP) の解法として一般的に用いられる木探索法である。
本稿では,新しい模倣学習フレームワークを提案し,分岐を表現するための新しい入力機能とアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-02-12T17:43:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。