論文の概要: TRBoost: A Generic Gradient Boosting Machine based on Trust-region Method

• arxiv url: http://arxiv.org/abs/2209.13791v1
• Date: Wed, 28 Sep 2022 02:42:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 17:30:46.961873
• Title: TRBoost: A Generic Gradient Boosting Machine based on Trust-region Method
• Title（参考訳）: TRBoost:信頼領域法に基づく汎用勾配昇降機
• Authors: Jiaqi Luo, Zihao Wei, Junkai Man, Shixin Xu
• Abstract要約: TRBoostは、任意の損失関数に適合する信頼領域アルゴリズムに基づいてGBMを一般化する。 TRBoostが競合する結果が得られることを確認するために、いくつかの数値実験が行われた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A generic Gradient Boosting Machine called Trust-region Boosting (TRBoost) is presented for performing supervised machine learning tasks. Existing Gradient Boosting Machines (GBMs) have achieved state-of-the-art results on many problems. However, there are some difficulties to maintain a balance between performance and generality. The first-order algorithms are appropriate for more general loss functions than the second-order algorithms; while the performance is often not as good as the latter one. TRBoost generalizes GBMs based on the Trust-region algorithm to suit arbitrary loss functions while keeping up the good performance as the second-order algorithms. Several numerical experiments are conducted to confirm that TRBoost can get competitive results while offering additional benefits in convergence.
• Abstract（参考訳）: トラスト領域ブースティング(TRBoost)と呼ばれる汎用的なグラディエントブースティングマシンは、教師付き機械学習タスクを実行するために提示される。 既存のグラディエントブースティングマシン(GBM)は多くの問題に対して最先端の結果を得た。 しかし、パフォーマンスと汎用性のバランスを維持することは困難である。 1次アルゴリズムは2次アルゴリズムよりも一般的な損失関数に適しているが、後者のアルゴリズムほど性能は良くないことが多い。 TRBoostはトラスト領域アルゴリズムに基づいてGBMを一般化し、任意の損失関数に適合し、2次アルゴリズムとしての性能を維持する。 いくつかの数値実験を行い、TRBoostがさらなる収束効果を提供しながら競争結果が得られることを確認した。

関連論文リスト

• How to Boost Any Loss Function [63.573324901948716]
  損失関数はブースティングにより最適化可能であることを示す。 また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
  論文  参考訳（メタデータ） (2024-07-02T14:08:23Z)
• Boosting Gradient Ascent for Continuous DR-submodular Maximization [18.040022136474114]
  Projected Gradient Ascent (PGA)は、機械学習および運用研究分野で最もよく使われている最適化スキームである。 本稿では,目的関数にわずかな変更を加えるだけで,標準PGAの近似保証を最適に向上できるブースティング手法を提案する。 得られたPGAの変動は、近似比や効率などのいくつかの面で、以前の標準PGAを上回りました。
  論文  参考訳（メタデータ） (2024-01-16T12:49:10Z)
• Benchmarking state-of-the-art gradient boosting algorithms for classification [0.0]
  この研究は、分類の文脈における勾配増強の利用について考察する。 オリジナルのGBMアルゴリズムや選択された最先端の勾配向上フレームワークを含む4つの一般的な実装を比較した。 有効性、信頼性、使いやすさの適切なバランスを示す勾配促進変種を示す試みが行われた。
  論文  参考訳（メタデータ） (2023-05-26T17:06:15Z)
• GBHT: Gradient Boosting Histogram Transform for Density Estimation [73.94900378709023]
  textitGradient Boosting Histogram Transform (GBHT) と呼ばれる密度推定アルゴリズムを提案する。 そこで本研究では,高揚化がベース学習者の性能向上に寄与する理由を理論的に説明するための最初の試みを行う。
  論文  参考訳（メタデータ） (2021-06-10T13:40:28Z)
• Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
  本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。 実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
  論文  参考訳（メタデータ） (2021-06-03T17:05:40Z)
• SnapBoost: A Heterogeneous Boosting Machine [9.532706363790053]
  本研究では,HNBM(Heterogeneous Newton Boosting Machine)について検討した。 トレーニングの複雑さに重点を置いたSnapBoostの実装方法について説明する。 OpenMLとKaggleのデータセットを用いた実験結果から、SnapBoostは、競合するブースティングフレームワークよりも、より優れた一般化損失を達成可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-17T09:38:45Z)
• Soft Gradient Boosting Machine [72.54062017726154]
  複数の異なるベースラーナを連携させて,ソフトなグラディエントブースティングマシン(sGBM)を提案する。 実験の結果,sGBMは,オンラインとオフラインの両方で同一の学習者に対して,より高精度な時間効率を享受できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:43:23Z)
• Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning Rates and Early Stopping [29.485528641599018]
  本稿では,二項分類の理論的一般化を保証する効率的なブースティング手法を提案する。 提案手法に対して,$cal O((m/log m)-1/4)$の高速学習率を導出する。 どちらの学習率も、分類のためのブースティング型手法の既存の一般化結果の中で最良である。
  論文  参考訳（メタデータ） (2020-04-01T00:39:24Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)
• On the Dual Formulation of Boosting Algorithms [92.74617630106559]
  AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。 これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
  論文  参考訳（メタデータ） (2009-01-23T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。