論文の概要: Gradient Boosted Binary Histogram Ensemble for Large-scale Regression

• arxiv url: http://arxiv.org/abs/2106.01986v1
• Date: Thu, 3 Jun 2021 17:05:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 13:16:14.978112
• Title: Gradient Boosted Binary Histogram Ensemble for Large-scale Regression
• Title（参考訳）: 大規模回帰のための勾配強化二元ヒストグラムアンサンブル
• Authors: Hanyuan Hang, Tao Huang, Yuchao Cai, Hanfang Yang, Zhouchen Lin
• Abstract要約: 本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。 実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
• 参考スコア（独自算出の注目度）: 60.16351608335641
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this paper, we propose a gradient boosting algorithm for large-scale regression problems called \textit{Gradient Boosted Binary Histogram Ensemble} (GBBHE) based on binary histogram partition and ensemble learning. From the theoretical perspective, by assuming the H\"{o}lder continuity of the target function, we establish the statistical convergence rate of GBBHE in the space $C^{0,\alpha}$ and $C^{1,0}$, where a lower bound of the convergence rate for the base learner demonstrates the advantage of boosting. Moreover, in the space $C^{1,0}$, we prove that the number of iterations to achieve the fast convergence rate can be reduced by using ensemble regressor as the base learner, which improves the computational efficiency. In the experiments, compared with other state-of-the-art algorithms such as gradient boosted regression tree (GBRT), Breiman's forest, and kernel-based methods, our GBBHE algorithm shows promising performance with less running time on large-scale datasets.
• Abstract（参考訳）: 本稿では,2進ヒストグラム分割とアンサンブル学習に基づく大規模回帰問題である「textit{Gradient Boosted Binary Histogram Ensemble} (GBBHE) の勾配向上アルゴリズムを提案する。 理論的には、対象関数の h\"{o}lder 連続性を仮定することで、ベース学習者の収束率の下限がブースティングの利点を示す空間 $c^{0,\alpha}$ と $c^{1,0}$ における gbbhe の統計収束率を確立する。 さらに、空間 $c^{1,0}$ において、アンサンブルレグレッサをベース学習器として使用することにより、高速な収束率を達成するための反復回数を削減できることが証明され、計算効率が向上する。 実験では,勾配増進回帰木 (GBRT) やブレイマンの森,カーネルベースの手法など,他の最先端アルゴリズムと比較して,大規模データセット上での実行時間が少なくて有望な性能を示す。

関連論文リスト

• An Accelerated Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness [15.656614304616006]
  本稿では,上層関数が非非有界な滑らかさであり,下層関数が強く凸であるような二層最適化問題のクラスについて検討する。 これらの問題は、ニューラルネットワークを用いたテキスト分類など、データ学習に大きな応用がある。
  論文  参考訳（メタデータ） (2024-09-28T02:30:44Z)
• Ordering for Non-Replacement SGD [7.11967773739707]
  我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。 我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。 さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
  論文  参考訳（メタデータ） (2023-06-28T00:46:58Z)
• A Log-linear Gradient Descent Algorithm for Unbalanced Binary Classification using the All Pairs Squared Hinge Loss [0.0]
  本稿では,2乗損失と2乗損失の関数表現を新たに提案し,線形時間あるいは対数線形時間で勾配を計算するアルゴリズムを提案する。 我々の新しいアルゴリズムは、以前のアルゴリズムよりも不均衡なデータセットのAUC値が高く、以前よりも大きなバッチサイズを利用できる。
  論文  参考訳（メタデータ） (2023-02-21T23:35:00Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Local Adaptivity of Gradient Boosting in Histogram Transform Ensemble Learning [5.241402683680909]
  テクティタダプティブ・ブースティング・ヒストグラム変換(textitABHT)という勾配促進アルゴリズム ABHTは、異なる順の滑らかさで領域をフィルタリングできることを示します。
  論文  参考訳（メタデータ） (2021-12-05T14:56:56Z)
• GBHT: Gradient Boosting Histogram Transform for Density Estimation [73.94900378709023]
  textitGradient Boosting Histogram Transform (GBHT) と呼ばれる密度推定アルゴリズムを提案する。 そこで本研究では,高揚化がベース学習者の性能向上に寄与する理由を理論的に説明するための最初の試みを行う。
  論文  参考訳（メタデータ） (2021-06-10T13:40:28Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。