論文の概要: An Eager Splitting Strategy for Online Decision Trees
- arxiv url: http://arxiv.org/abs/2010.10935v2
- Date: Sat, 31 Jul 2021 07:31:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 06:30:11.508849
- Title: An Eager Splitting Strategy for Online Decision Trees
- Title（参考訳）: オンライン決定木におけるイーガー分割戦略
- Authors: Chaitanya Manapragada and Heitor M Gomes and Mahsa Salehi and Albert
Bifet and Geoffrey I Webb
- Abstract要約: Hoeffding AnyTime TreeはHoeffding Testを使用して、現在の最良の候補分割が現在の分割よりも優れているかどうかを判断します。
Hoeffding Treeは、上位候補が2番目よりも優れているかどうかを判断し、もしテストが選択されたら、すべての後続性のために修正する。
HATTはオンライン・バッグングとオンライン・ブーピング・アンサンブルのための効果的なベース・ラーナーであることがわかった。
- 参考スコア（独自算出の注目度）: 14.606709087035478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decision tree ensembles are widely used in practice. In this work, we study
in ensemble settings the effectiveness of replacing the split strategy for the
state-of-the-art online tree learner, Hoeffding Tree, with a rigorous but more
eager splitting strategy that we had previously published as Hoeffding AnyTime
Tree. Hoeffding AnyTime Tree (HATT), uses the Hoeffding Test to determine
whether the current best candidate split is superior to the current split, with
the possibility of revision, while Hoeffding Tree aims to determine whether the
top candidate is better than the second best and if a test is selected, fixes
it for all posterity. HATT converges to the ideal batch tree while Hoeffding
Tree does not. We find that HATT is an efficacious base learner for online
bagging and online boosting ensembles. On UCI and synthetic streams, HATT as a
base learner outperforms HT within a 0.05 significance level for the majority
of tested ensembles on what we believe is the largest and most comprehensive
set of testbenches in the online learning literature. Our results indicate that
HATT is a superior alternative to Hoeffding Tree in a large number of ensemble
settings.
- Abstract（参考訳）: 決定木アンサンブルは実際に広く使用されている。
本研究では,最先端オンライン木学習者hoeffding treeの分割戦略を,以前hoeffding anytime treeとして発表していた厳密だがより意欲的な分割戦略に置き換える効果について検討した。
hoeffding anytime tree (hatt)は、現在のベスト候補分割が現在の分割よりも優れているかどうかをhoeffding testを用いて判定し、hoeffding treeは、上位候補が第2のベストよりも優れているかどうかを判断し、テストが選択された場合、すべての後世に修正する。
HATTは理想的なバッチツリーに収束するが、Hoeffding Treeはそうではない。
HATTはオンライン・バッグングとオンライン・ブーピング・アンサンブルのための効果的なベース・ラーナーであることがわかった。
UCIと合成ストリームでは、HATTは、オンライン学習文学において最も大きく、最も包括的なテストベンチセットであると考えられる、テストアンサンブルの大多数において、HTを0.05の重要レベルで上回ります。
以上の結果から,HATTはHoeffding Treeの代替として,多数のアンサンブル設定において優れていることが示唆された。
関連論文リスト
- LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。
GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
論文 参考訳（メタデータ） (2024-06-29T05:14:04Z) - Online Learning of Decision Trees with Thompson Sampling [12.403737756721467]
決定木は解釈可能な機械学習のための顕著な予測モデルである。
オンライン環境で最適な決定木を生成できるモンテカルロ木探索アルゴリズムを考案した。
論文 参考訳（メタデータ） (2024-04-09T15:53:02Z) - Boosting-Based Sequential Meta-Tree Ensemble Construction for Improved
Decision Trees [1.8749305679160366]
決定木は、機械学習分野における最も一般的なアプローチの1つである。
近年,過度に深化した木による過剰適合の問題を解決するために,メタツリーが提案されている。
メタツリーはベイズ決定理論に基づく統計的最適性を保証する。
論文 参考訳（メタデータ） (2024-02-09T13:08:21Z) - Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。
我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
論文 参考訳（メタデータ） (2024-02-06T07:40:53Z) - Effective and Efficient Federated Tree Learning on Hybrid Data [80.31870543351918]
本稿では,ハイブリッドデータ上でのフェデレーションツリー学習を可能にする,新しいフェデレーション学習手法であるHybridTreeを提案する。
木に一貫した分割ルールが存在することを観察し、木の下層にパーティの知識を組み込むことができることを示す。
実験により,HybridTreeは計算および通信のオーバーヘッドが低い集中的な設定に匹敵する精度を達成できることを示した。
論文 参考訳（メタデータ） (2023-10-18T10:28:29Z) - MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees [2.421336072915701]
本稿では,決定木誘導に対するベイズ的アプローチを提案する。
そこで我々は,MAPTreeとよばれるAND/OR探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-26T23:43:37Z) - Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。
木の根から葉までの経路は、個々の将来の軌跡を表す。
ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
論文 参考訳（メタデータ） (2022-05-26T12:18:44Z) - Green Accelerated Hoeffding Tree [8.735676502034396]
Green Accelerated Hoeffding Tree (GAHT)は、EFDTアルゴリズムの拡張であり、低エネルギーとメモリフットプリントである。
その結果,GAHT は EFDT や Hoeffding 木のアンサンブルと同等の競争精度が得られることがわかった。
論文 参考訳（メタデータ） (2022-05-06T12:54:38Z) - Hierarchical Shrinkage: improving the accuracy and interpretability of
tree-based methods [10.289846887751079]
木構造を改変しないポストホックアルゴリズムである階層収縮(Hierarchical Shrinkage, HS)を導入する。
HSは、他の正規化技術と併用しても、決定木の予測性能を大幅に向上させる。
すべてのコードとモデルはGithubにある本格的なパッケージでリリースされている。
論文 参考訳（メタデータ） (2022-02-02T02:43:23Z) - Improved Branch and Bound for Neural Network Verification via Lagrangian
Decomposition [161.09660864941603]
ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。
活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。
BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
論文 参考訳（メタデータ） (2021-04-14T09:22:42Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳（メタデータ） (2020-07-24T17:06:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。