論文の概要: BoostTree and BoostForest for Ensemble Learning

• arxiv url: http://arxiv.org/abs/2003.09737v3
• Date: Tue, 6 Dec 2022 06:32:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 12:41:33.760669
• Title: BoostTree and BoostForest for Ensemble Learning
• Title（参考訳）: アンサンブル学習のためのboosttreeとboostforest
• Authors: Changming Zhao, Dongrui Wu, Jian Huang, Ye Yuan, Hai-Tao Zhang, Ruimin Peng, Zhenhua Shi
• Abstract要約: BoostForestは、BoostTreeをベースラーナーとして使用したアンサンブル学習アプローチで、分類と回帰の両方に使用することができる。 一般的に、35の分類と回帰データセットにおいて、4つの古典的なアンサンブル学習アプローチ(ランサムフォレスト、エクストラトリー、XGBoost、LightGBM)より優れていた。
• 参考スコア（独自算出の注目度）: 27.911350375268576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bootstrap aggregating (Bagging) and boosting are two popular ensemble learning approaches, which combine multiple base learners to generate a composite model for more accurate and more reliable performance. They have been widely used in biology, engineering, healthcare, etc. This paper proposes BoostForest, which is an ensemble learning approach using BoostTree as base learners and can be used for both classification and regression. BoostTree constructs a tree model by gradient boosting. It increases the randomness (diversity) by drawing the cut-points randomly at node splitting. BoostForest further increases the randomness by bootstrapping the training data in constructing different BoostTrees. BoostForest generally outperformed four classical ensemble learning approaches (Random Forest, Extra-Trees, XGBoost and LightGBM) on 35 classification and regression datasets. Remarkably, BoostForest tunes its parameters by simply sampling them randomly from a parameter pool, which can be easily specified, and its ensemble learning framework can also be used to combine many other base learners.
• Abstract（参考訳）: Bootstrap aggregating (Bagging) と boosting の2つの一般的なアンサンブル学習アプローチは、複数のベース学習者を組み合わせて、より正確で信頼性の高いパフォーマンスのための複合モデルを生成する。 生物学、工学、医療などにおいて広く使われている。 本稿では,BoostTreeをベースラーナーとして使用したアンサンブル学習手法であるBoostForestを提案する。 boosttreeは勾配ブースティングによってツリーモデルを構築する。 ノード分割時にカットポイントをランダムに描画することで、ランダム性(多様性)を高める。 BoostForestは、異なるBoostTreesを構築する際のトレーニングデータをブートストラップすることで、さらにランダム性を高める。 BoostForestは一般的に、35の分類と回帰データセットで4つの古典的なアンサンブル学習アプローチ(Random Forest、Extra-Trees、XGBoost、LightGBM)を上回りました。 注目すべきは、BoostForestはパラメータプールからランダムにサンプリングすることでパラメータを調整し、簡単に指定できる。

関連論文リスト

• Binary Classification: Is Boosting stronger than Bagging? [5.877778007271621]
  本稿では,バニラ・ランダム・フォレストの拡張である拡張ランダム・フォレストを紹介し,付加機能と適応サンプルおよびモデル重み付けについて述べる。 トレーニングサンプルの重み付けを適応するための反復アルゴリズムを開発し、最も難しい例を選好し、新しいサンプルごとに個別の木の重み付け手法を見つけるためのアプローチを開発した。 本手法は15の異なる二分分類データセットにまたがる通常のランダムフォレストを著しく改善し,XGBoostを含む他の木法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-24T23:22:33Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• A generalized decision tree ensemble based on the NeuralNetworks architecture: Distributed Gradient Boosting Forest (DGBF) [0.0]
  本稿では,木間の分散表現学習を自然に行うグラフ構造木アンサンブルアルゴリズムを提案する。 我々は、この新しいアプローチを分散グラディエントブースティングフォレスト(DGBF)と呼び、RandomForestとGradientBoostingの両方がDGBFの特定のグラフアーキテクチャとして表現できることを実証する。 最後に、分散学習は、9つのデータセットのうち7つでRandomForestとGradientBoostingの両方に優れています。
  論文  参考訳（メタデータ） (2024-02-04T09:22:52Z)
• Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
  実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。 本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
  論文  参考訳（メタデータ） (2023-07-02T19:26:58Z)
• SoftTreeMax: Policy Gradient with Tree Search [72.9513807133171]
  我々は、ツリー検索をポリシー勾配に統合する最初のアプローチであるSoftTreeMaxを紹介します。 Atariでは、SoftTreeMaxが分散PPOと比較して、実行時のパフォーマンスを最大5倍向上させる。
  論文  参考訳（メタデータ） (2022-09-28T09:55:47Z)
• Fast ABC-Boost: A Unified Framework for Selecting the Base Class in Multi-Class Classification [21.607059258448594]
  我々はABC-Boostの計算効率を向上させるために,一連のアイデアを導入して,ベースクラスを効果的に選択するための統一的なフレームワークを開発する。 私たちのフレームワークにはパラメータ $(s,g,w)$ があります。
  論文  参考訳（メタデータ） (2022-05-22T20:42:26Z)
• To Boost or not to Boost: On the Limits of Boosted Neural Networks [67.67776094785363]
  ブースティングは分類器のアンサンブルを学ぶ方法である。 ブースティングは決定木に非常に有効であることが示されているが、ニューラルネットワークへの影響は広く研究されていない。 単一のニューラルネットワークは通常、同じ数のパラメータを持つ小さなニューラルネットワークの強化されたアンサンブルよりもよく一般化される。
  論文  参考訳（メタデータ） (2021-07-28T19:10:03Z)
• Boost-R: Gradient Boosted Trees for Recurrence Data [13.40931458200203]
  本稿では,静的および動的両方の特徴を持つイベントデータに対して,Boost-R(Boosting for Recurrence Data)と呼ばれる付加木に基づくアプローチを検討する。 Boost-Rは、繰り返しイベントプロセスの累積強度関数を推定するために、勾配増進付加木の集合を構成する。
  論文  参考訳（メタデータ） (2021-07-03T02:44:09Z)
• An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
  傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃 提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。 私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
  論文  参考訳（メタデータ） (2020-10-22T10:59:49Z)
• agtboost: Adaptive and Automatic Gradient Tree Boosting Computations [0.0]
  agtboostは高速勾配木強化計算を実装している。 有用なモデル検証関数は、学習された分布に関するコルモゴロフ・スミルノフテストを実行する。
  論文  参考訳（メタデータ） (2020-08-28T12:42:19Z)
• Soft Gradient Boosting Machine [72.54062017726154]
  複数の異なるベースラーナを連携させて,ソフトなグラディエントブースティングマシン(sGBM)を提案する。 実験の結果,sGBMは,オンラインとオフラインの両方で同一の学習者に対して,より高精度な時間効率を享受できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。