論文の概要: Slow-Growing Trees
- arxiv url: http://arxiv.org/abs/2103.01926v1
- Date: Tue, 2 Mar 2021 18:37:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 16:56:55.287596
- Title: Slow-Growing Trees
- Title(参考訳): 成長が遅い木
- Authors: Philippe Goulet Coulombe
- Abstract要約: ランダムフォレストの性能は、単一の低成長木(sgt)と一致させることができる。
SGTは、CARTは反復重み付き最小二乗手順の極端な場合である、という見解を利用する。
ブーストツリー(BT)とランダムフォレスト(RF)の統一ビューが紹介されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Random Forest's performance can be matched by a single slow-growing tree
(SGT), which uses a learning rate to tame CART's greedy algorithm. SGT exploits
the view that CART is an extreme case of an iterative weighted least square
procedure. Moreover, a unifying view of Boosted Trees (BT) and Random Forests
(RF) is presented. Greedy ML algorithms' outcomes can be improved using either
"slow learning" or diversification. SGT applies the former to estimate a single
deep tree, and Booging (bagging stochastic BT with a high learning rate) uses
the latter with additive shallow trees. The performance of this tree ensemble
quaternity (Booging, BT, SGT, RF) is assessed on simulated and real regression
tasks.
- Abstract(参考訳): ランダムフォレストの性能は、CARTの欲張りアルゴリズムに学習率を利用する1つの遅い成長木(SGT)によって一致させることができる。
SGTは、CARTは反復重み付き最小二乗手順の極端な場合である、という見解を利用する。
さらに,樹木群落(BT)と森林群落(RF)の統一的な景観を提示する。
Greedy MLアルゴリズムの結果は、“スローラーニング”あるいは多様化”によって改善できる。
SGTは1つの深い木を推定するために前者を適用し、Booging(高い学習率の確率BTを袋詰めする)は後者を付加的な浅い木と使用します。
この木アンサンブル四重項(Booging, BT, SGT, RF)の性能をシミュレーションおよび実回帰タスクで評価する。
関連論文リスト
- Can a Single Tree Outperform an Entire Forest? [5.448070998907116]
一般的な考え方は、単一の決定木は、テスト精度において古典的なランダムな森林を過小評価する。
本研究では,斜め回帰木の試験精度を大幅に向上させることで,このような考え方に挑戦する。
本手法は,木習熟を非制約最適化タスクとして再編成する。
論文 参考訳(メタデータ) (2024-11-26T00:18:18Z) - LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。
GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
論文 参考訳(メタデータ) (2024-06-29T05:14:04Z) - A Robust Hypothesis Test for Tree Ensemble Pruning [2.4923006485141284]
そこで我々は,勾配増進木アンサンブルの分割品質に関する理論的に正当化された新しい仮説を考案し,提示する。
本手法は, 一般的なペナルティ条件ではなく, サンプル損失の低減につながることを示す。
また,この手法にいくつかの革新的な拡張を加えて,様々な新しい木刈りアルゴリズムの扉を開く。
論文 参考訳(メタデータ) (2023-01-24T16:31:49Z) - SoftTreeMax: Policy Gradient with Tree Search [72.9513807133171]
我々は、ツリー検索をポリシー勾配に統合する最初のアプローチであるSoftTreeMaxを紹介します。
Atariでは、SoftTreeMaxが分散PPOと比較して、実行時のパフォーマンスを最大5倍向上させる。
論文 参考訳(メタデータ) (2022-09-28T09:55:47Z) - Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。
木の根から葉までの経路は、個々の将来の軌跡を表す。
ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
論文 参考訳(メタデータ) (2022-05-26T12:18:44Z) - Lassoed Tree Boosting [53.56229983630983]
有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。
我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
論文 参考訳(メタデータ) (2022-05-22T00:34:41Z) - Hierarchical Shrinkage: improving the accuracy and interpretability of
tree-based methods [10.289846887751079]
木構造を改変しないポストホックアルゴリズムである階層収縮(Hierarchical Shrinkage, HS)を導入する。
HSは、他の正規化技術と併用しても、決定木の予測性能を大幅に向上させる。
すべてのコードとモデルはGithubにある本格的なパッケージでリリースされている。
論文 参考訳(メタデータ) (2022-02-02T02:43:23Z) - Robustifying Algorithms of Learning Latent Trees with Vector Variables [92.18777020401484]
Recursive Grouping (RG) と Chow-Liu Recursive Grouping (CLRG) のサンプル複雑性について述べる。
RG,CLRG,Neighbor Joining (NJ) およびSpectral NJ (SNJ) をトラッピングした内積を用いて強化する。
我々は、潜在木の構造学習において、最初の既知のインスタンス依存の不合理性の結果を導出する。
論文 参考訳(メタデータ) (2021-06-02T01:37:52Z) - MRRT: Multiple Rapidly-Exploring Random Trees for Fast Online Replanning
in Dynamic Environments [1.290382979353427]
MRRTアルゴリズムはマルチツリー構造を持つRTアルゴリズム上に構築されている。
RRTアルゴリズムを用いて環境の部分的知識に基づいて初期解を求める。
新しい障害物構成はロボットのセンサーによって収集され、経路の再計画に使用される。
論文 参考訳(メタデータ) (2021-04-22T13:41:48Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳(メタデータ) (2020-07-24T17:06:55Z) - The Tree Ensemble Layer: Differentiability meets Conditional Computation [8.40843862024745]
我々は、異なる決定木(ソフトツリー)のアンサンブルからなるニューラルネットワークのための新しいレイヤを導入する。
異なる木は文学において有望な結果を示すが、典型的には条件計算をサポートしないため、訓練と推論が遅い。
我々は、空間性を利用する特殊前方及び後方伝播アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-02-18T18:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。