論文の概要: TRBoost: A Generic Gradient Boosting Machine based on Trust-region
Method
- arxiv url: http://arxiv.org/abs/2209.13791v4
- Date: Tue, 11 Apr 2023 07:32:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 18:58:13.617224
- Title: TRBoost: A Generic Gradient Boosting Machine based on Trust-region
Method
- Title（参考訳）: TRBoost:信頼領域法に基づく汎用勾配昇降機
- Authors: Jiaqi Luo, Zihao Wei, Junkai Man, Shixin Xu
- Abstract要約: 本研究では,Trust-rea Boosting (TRBoost) と呼ばれる新しい汎用的なグラディエントブースティングマシンを提案する。
各イテレーションにおいて、TRBoostは制約付き二次モデルを用いて目的を近似し、信頼領域アルゴリズムを適用してそれを解き、新しい学習者を得る。
本研究で行った収束解析と数値実験により、TRBoostは1次GBMと同じくらい一般であり、競争結果が得られることが確認された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gradient Boosting Machines (GBMs) have demonstrated remarkable success in
solving diverse problems by utilizing Taylor expansions in functional space.
However, achieving a balance between performance and generality has posed a
challenge for GBMs. In particular, gradient descent-based GBMs employ the
first-order Taylor expansion to ensure applicability to all loss functions,
while Newton's method-based GBMs use positive Hessian information to achieve
superior performance at the expense of generality. To address this issue, this
study proposes a new generic Gradient Boosting Machine called Trust-region
Boosting (TRBoost). In each iteration, TRBoost uses a constrained quadratic
model to approximate the objective and applies the Trust-region algorithm to
solve it and obtain a new learner. Unlike Newton's method-based GBMs, TRBoost
does not require the Hessian to be positive definite, thereby allowing it to be
applied to arbitrary loss functions while still maintaining competitive
performance similar to second-order algorithms. The convergence analysis and
numerical experiments conducted in this study confirm that TRBoost is as
general as first-order GBMs and yields competitive results compared to
second-order GBMs. Overall, TRBoost is a promising approach that balances
performance and generality, making it a valuable addition to the toolkit of
machine learning practitioners.
- Abstract（参考訳）: グラディエントブースティングマシン (GBMs) は, 機能空間におけるテイラー展開を利用して, 多様な問題の解決に成功している。
しかし、性能と一般性のバランスをとることは、GBMにとって課題となっている。
特に、勾配降下に基づくGBMは全損失関数に適用性を確保するために一階テイラー展開を用いるが、ニュートンの手法に基づくGBMは正のヘッセン情報を用いて一般性を犠牲にして優れた性能を達成する。
この問題に対処するために,Trust-rea Boosting (TRBoost) と呼ばれる新しい汎用的なグラディエントブースティングマシンを提案する。
各イテレーションにおいて、TRBoostは制約付き二次モデルを用いて目的を近似し、信頼領域アルゴリズムを適用してそれを解き、新しい学習者を得る。
ニュートンの手法に基づくGBMとは異なり、TRBoostはヘシアンを正定値にする必要はないため、任意の損失関数に適用できるが、2階アルゴリズムのような競合性能は維持できる。
本研究では, TRBoostの収束解析および数値実験により, TRBoostは1次GBMと同様の一般性を示し, 2次GBMと比較して競争結果が得られた。
全体として、TRBoostはパフォーマンスと汎用性のバランスをとる有望なアプローチであり、機械学習実践者のツールキットに価値ある追加となる。
関連論文リスト
- How to Boost Any Loss Function [63.573324901948716]
損失関数はブースティングにより最適化可能であることを示す。
また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
論文 参考訳（メタデータ） (2024-07-02T14:08:23Z) - Boosting Gradient Ascent for Continuous DR-submodular Maximization [18.040022136474114]
Projected Gradient Ascent (PGA)は、機械学習および運用研究分野で最もよく使われている最適化スキームである。
本稿では,目的関数にわずかな変更を加えるだけで,標準PGAの近似保証を最適に向上できるブースティング手法を提案する。
得られたPGAの変動は、近似比や効率などのいくつかの面で、以前の標準PGAを上回りました。
論文 参考訳（メタデータ） (2024-01-16T12:49:10Z) - Benchmarking state-of-the-art gradient boosting algorithms for
classification [0.0]
この研究は、分類の文脈における勾配増強の利用について考察する。
オリジナルのGBMアルゴリズムや選択された最先端の勾配向上フレームワークを含む4つの一般的な実装を比較した。
有効性、信頼性、使いやすさの適切なバランスを示す勾配促進変種を示す試みが行われた。
論文 参考訳（メタデータ） (2023-05-26T17:06:15Z) - GBHT: Gradient Boosting Histogram Transform for Density Estimation [73.94900378709023]
textitGradient Boosting Histogram Transform (GBHT) と呼ばれる密度推定アルゴリズムを提案する。
そこで本研究では,高揚化がベース学習者の性能向上に寄与する理由を理論的に説明するための最初の試みを行う。
論文 参考訳（メタデータ） (2021-06-10T13:40:28Z) - Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。
実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
論文 参考訳（メタデータ） (2021-06-03T17:05:40Z) - SnapBoost: A Heterogeneous Boosting Machine [9.532706363790053]
本研究では,HNBM(Heterogeneous Newton Boosting Machine)について検討した。
トレーニングの複雑さに重点を置いたSnapBoostの実装方法について説明する。
OpenMLとKaggleのデータセットを用いた実験結果から、SnapBoostは、競合するブースティングフレームワークよりも、より優れた一般化損失を達成可能であることを示す。
論文 参考訳（メタデータ） (2020-06-17T09:38:45Z) - Soft Gradient Boosting Machine [72.54062017726154]
複数の異なるベースラーナを連携させて,ソフトなグラディエントブースティングマシン(sGBM)を提案する。
実験の結果,sGBMは,オンラインとオフラインの両方で同一の学習者に対して,より高精度な時間効率を享受できることが判明した。
論文 参考訳（メタデータ） (2020-06-07T06:43:23Z) - Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning
Rates and Early Stopping [29.485528641599018]
本稿では,二項分類の理論的一般化を保証する効率的なブースティング手法を提案する。
提案手法に対して,$cal O((m/log m)-1/4)$の高速学習率を導出する。
どちらの学習率も、分類のためのブースティング型手法の既存の一般化結果の中で最良である。
論文 参考訳（メタデータ） (2020-04-01T00:39:24Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳（メタデータ） (2020-01-27T08:23:58Z) - On the Dual Formulation of Boosting Algorithms [92.74617630106559]
AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。
これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
論文 参考訳（メタデータ） (2009-01-23T02:14:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。