論文の概要: SnapBoost: A Heterogeneous Boosting Machine
- arxiv url: http://arxiv.org/abs/2006.09745v2
- Date: Fri, 25 Sep 2020 07:58:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 19:33:55.302817
- Title: SnapBoost: A Heterogeneous Boosting Machine
- Title（参考訳）: SnapBoost: 不均一なブースティングマシン
- Authors: Thomas Parnell, Andreea Anghel, Malgorzata Lazuka, Nikolas Ioannou,
Sebastian Kurella, Peshal Agarwal, Nikolaos Papandreou, Haralampos Pozidis
- Abstract要約: 本研究では,HNBM(Heterogeneous Newton Boosting Machine)について検討した。
トレーニングの複雑さに重点を置いたSnapBoostの実装方法について説明する。
OpenMLとKaggleのデータセットを用いた実験結果から、SnapBoostは、競合するブースティングフレームワークよりも、より優れた一般化損失を達成可能であることを示す。
- 参考スコア（独自算出の注目度）: 9.532706363790053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern gradient boosting software frameworks, such as XGBoost and LightGBM,
implement Newton descent in a functional space. At each boosting iteration,
their goal is to find the base hypothesis, selected from some base hypothesis
class, that is closest to the Newton descent direction in a Euclidean sense.
Typically, the base hypothesis class is fixed to be all binary decision trees
up to a given depth. In this work, we study a Heterogeneous Newton Boosting
Machine (HNBM) in which the base hypothesis class may vary across boosting
iterations. Specifically, at each boosting iteration, the base hypothesis class
is chosen, from a fixed set of subclasses, by sampling from a probability
distribution. We derive a global linear convergence rate for the HNBM under
certain assumptions, and show that it agrees with existing rates for Newton's
method when the Newton direction can be perfectly fitted by the base hypothesis
at each boosting iteration. We then describe a particular realization of a
HNBM, SnapBoost, that, at each boosting iteration, randomly selects between
either a decision tree of variable depth or a linear regressor with random
Fourier features. We describe how SnapBoost is implemented, with a focus on the
training complexity. Finally, we present experimental results, using OpenML and
Kaggle datasets, that show that SnapBoost is able to achieve better
generalization loss than competing boosting frameworks, without taking
significantly longer to tune.
- Abstract（参考訳）: xgboostやlightgbmといった現代の勾配ブースティングソフトウェアフレームワークは、関数空間でニュートン降下を実装する。
それぞれのブースティングイテレーションにおいて、彼らの目標は、ユークリッド的な意味でニュートン降下方向に最も近いいくつかの基底仮説クラスから選択された基底仮説を見つけることである。
通常、基本仮説クラスは与えられた深さまですべての二分決定木に固定される。
本研究では,ベース仮説クラスがブースティングイテレーションによって異なる可能性がある異種ニュートンブースティングマシン(hnbm)について検討する。
具体的には、各ブースティングイテレーションにおいて、確率分布からサンプリングすることにより、固定されたサブクラスのセットからベース仮説クラスを選択する。
特定の仮定の下でHNBMに対する大域的線形収束速度を導出し、ニュートン方向が各ブースティング繰り返しで基底仮説に完全に適合できる場合、ニュートン法に対する既存の速度と一致することを示す。
次に、HNBM、SnapBoostの特定の実現法として、各ブースティングイテレーションにおいて、可変深さの決定木またはランダムなフーリエ特徴を持つ線形回帰木のいずれかをランダムに選択する。
トレーニングの複雑さに重点を置いたSnapBoostの実装方法について説明する。
最後に、OpenMLとKaggleデータセットを使用して実験結果を示す。これはSnapBoostが、チューニングにかなり時間がかからず、競合するブースティングフレームワークよりも優れた一般化損失を達成可能であることを示している。
関連論文リスト
- Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。
我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。
そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
論文 参考訳（メタデータ） (2024-08-06T03:42:38Z) - How to Boost Any Loss Function [63.573324901948716]
損失関数はブースティングにより最適化可能であることを示す。
また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
論文 参考訳（メタデータ） (2024-07-02T14:08:23Z) - TRBoost: A Generic Gradient Boosting Machine based on Trust-region
Method [0.0]
本研究では,Trust-rea Boosting (TRBoost) と呼ばれる新しい汎用的なグラディエントブースティングマシンを提案する。
各イテレーションにおいて、TRBoostは制約付き二次モデルを用いて目的を近似し、信頼領域アルゴリズムを適用してそれを解き、新しい学習者を得る。
本研究で行った収束解析と数値実験により、TRBoostは1次GBMと同じくらい一般であり、競争結果が得られることが確認された。
論文 参考訳（メタデータ） (2022-09-28T02:42:15Z) - Lassoed Tree Boosting [53.56229983630983]
有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。
我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
論文 参考訳（メタデータ） (2022-05-22T00:34:41Z) - Quantum Boosting using Domain-Partitioning Hypotheses [0.9264464791978363]
ブースティングは、弱い学習者をPAC学習フレームワークの強力な学習者に変換するアンサンブル学習法である。
Q-RealBoostは、弱い学習者のバイアスと弱い学習者がターゲット概念クラスを学習するのに要する時間の両方の観点から、Q-AdaBoostを高速化することを示した。
論文 参考訳（メタデータ） (2021-10-25T10:46:13Z) - To Boost or not to Boost: On the Limits of Boosted Neural Networks [67.67776094785363]
ブースティングは分類器のアンサンブルを学ぶ方法である。
ブースティングは決定木に非常に有効であることが示されているが、ニューラルネットワークへの影響は広く研究されていない。
単一のニューラルネットワークは通常、同じ数のパラメータを持つ小さなニューラルネットワークの強化されたアンサンブルよりもよく一般化される。
論文 参考訳（メタデータ） (2021-07-28T19:10:03Z) - Improved Quantum Boosting [1.0660480034605238]
Arunachalam と Maity は、Freund と Schapire の AdaBoost アルゴリズムと近似カウントのための量子アルゴリズムを組み合わせることで、最初の量子改良を行った。
本稿では,ServedioのSmoothBoostアルゴリズムに基づく,より高速でシンプルな量子ブースティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-17T15:16:42Z) - Soft Gradient Boosting Machine [72.54062017726154]
複数の異なるベースラーナを連携させて,ソフトなグラディエントブースティングマシン(sGBM)を提案する。
実験の結果,sGBMは,オンラインとオフラインの両方で同一の学習者に対して,より高精度な時間効率を享受できることが判明した。
論文 参考訳（メタデータ） (2020-06-07T06:43:23Z) - A Generic First-Order Algorithmic Framework for Bi-Level Programming
Beyond Lower-Level Singleton [49.23948907229656]
Bi-level Descent Aggregationは、汎用的な双方向最適化のためのフレキシブルでモジュール化されたアルゴリズムフレームワークである。
LLS条件なしでBDAの収束を証明する新しい手法を導出する。
我々の研究は、BDAが特定の一階計算モジュールの検証と互換性があることも示している。
論文 参考訳（メタデータ） (2020-06-07T05:18:50Z) - Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning
Rates and Early Stopping [29.485528641599018]
本稿では,二項分類の理論的一般化を保証する効率的なブースティング手法を提案する。
提案手法に対して,$cal O((m/log m)-1/4)$の高速学習率を導出する。
どちらの学習率も、分類のためのブースティング型手法の既存の一般化結果の中で最良である。
論文 参考訳（メタデータ） (2020-04-01T00:39:24Z) - BoostTree and BoostForest for Ensemble Learning [27.911350375268576]
BoostForestは、BoostTreeをベースラーナーとして使用したアンサンブル学習アプローチで、分類と回帰の両方に使用することができる。
一般的に、35の分類と回帰データセットにおいて、4つの古典的なアンサンブル学習アプローチ(ランサムフォレスト、エクストラトリー、XGBoost、LightGBM)より優れていた。
論文 参考訳（メタデータ） (2020-03-21T19:52:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。