論文の概要: SketchBoost: Fast Gradient Boosted Decision Tree for Multioutput Problems

• arxiv url: http://arxiv.org/abs/2211.12858v1
• Date: Wed, 23 Nov 2022 11:06:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 14:22:53.911062
• Title: SketchBoost: Fast Gradient Boosted Decision Tree for Multioutput Problems
• Title（参考訳）: SketchBoost: マルチ出力問題に対する高速勾配ブースト決定木
• Authors: Leonid Iosipoi and Anton Vakhrushev
• Abstract要約: Gradient Boosted Decision Tree (GBDT)は、広く使われている機械学習アルゴリズムである。 本稿では,多出力シナリオにおけるGBDTのトレーニングプロセスの高速化を目的とした新しい手法を提案する。 私たちの数値研究は、SketchBoostがGBDTのトレーニングプロセスを最大40倍高速化することを示している。
• 参考スコア（独自算出の注目度）: 3.04585143845864
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Gradient Boosted Decision Tree (GBDT) is a widely-used machine learning algorithm that has been shown to achieve state-of-the-art results on many standard data science problems. We are interested in its application to multioutput problems when the output is highly multidimensional. Although there are highly effective GBDT implementations, their scalability to such problems is still unsatisfactory. In this paper, we propose novel methods aiming to accelerate the training process of GBDT in the multioutput scenario. The idea behind these methods lies in the approximate computation of a scoring function used to find the best split of decision trees. These methods are implemented in SketchBoost, which itself is integrated into our easily customizable Python-based GPU implementation of GBDT called Py-Boost. Our numerical study demonstrates that SketchBoost speeds up the training process of GBDT by up to over 40 times while achieving comparable or even better performance.
• Abstract（参考訳）: Gradient Boosted Decision Tree (GBDT)は、多くの標準的なデータサイエンス問題に対して最先端の結果を得るために広く使われている機械学習アルゴリズムである。 出力が多次元である場合のマルチアウトプット問題への応用に関心がある。 非常に効果的なGBDT実装はあるが、そのような問題に対するスケーラビリティはまだ不十分である。 本稿では,マルチアウトプットシナリオにおけるgbdtの学習プロセスを高速化するための新しい手法を提案する。 これらの手法の背景にある考え方は、決定木の最良の分割を見つけるために用いられるスコアリング関数の近似計算にある。 これらのメソッドはSketchBoostで実装されており、Py-Boostと呼ばれるGBDTのPythonベースのGPU実装に統合されています。 私たちの数値的な研究は、SketchBoostがGBDTのトレーニングプロセスを最大40倍スピードアップし、同等あるいはそれ以上のパフォーマンスを実現していることを示している。

関連論文リスト

• Generating and Imputing Tabular Data via Diffusion and Flow-based Gradient-Boosted Trees [11.732842929815401]
  タブラルデータは取得が困難で、値が失われる。 本稿では,混合型(連続型および分類型)データの生成と計算のための新しいアプローチを提案する。 スコア関数やベクトル場をニューラルネットワークで学習する従来の手法とは対照的に,我々はXGBoostを採用する。
  論文  参考訳（メタデータ） (2023-09-18T17:49:09Z)
• GradTree: Learning Axis-Aligned Decision Trees with Gradient Descent [10.27211960475599]
  決定木(DT)は多くの機械学習タスクで一般的に使われている。 本稿では,greedyアルゴリズムを用いた新しいDT学習手法を提案する。 直進演算子と直進演算子を高密度DT表現とし,すべての木パラメータを協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-05T13:24:35Z)
• Accelerating Barnes-Hut t-SNE Algorithm by Efficient Parallelization on Multi-Core CPUs [59.18990342943095]
  t-SNEは高次元データを視覚化するための最も一般的な埋め込み技術の一つである。 BH t-SNEアルゴリズムは既存のCPU実装では非効率である。 Acc-t-SNEはScikit-learnよりも最大261倍、4倍高速で、daal4pyの最先端のBH t-SNE実装である。
  論文  参考訳（メタデータ） (2022-12-22T06:38:40Z)
• PromptBoosting: Black-Box Text Classification with Ten Forward Passes [61.38341243907045]
  PromptBoostingは、LMのパラメータ、勾配、隠された表現にアクセスすることなく、ニューラルネットワークモデル(LM)からテキスト分類器を構築するためのクエリ効率のよい手順である。 実験によると、PromptBoostingは複数のブラックボックスのいくつかのショット分類タスクで最先端のパフォーマンスを達成し、既存のブラックボックスメソッドよりも10倍速くトレーニングしながら、少数ショットと標準学習のパラダイムの両方で完全な微調整をマッチまたは上回っている。
  論文  参考訳（メタデータ） (2022-12-19T06:04:54Z)
• High-Order Optimization of Gradient Boosted Decision Trees [1.4047579643483785]
  数値最適化理論に基づくGBDTの高次最適化を提案する。 その結果,高次最適化はより高速で,実行時間を短縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-21T11:33:16Z)
• Quantized Training of Gradient Boosting Decision Trees [84.97123593657584]
  我々は,GBDTのトレーニングアルゴリズムにおいて,高精度勾配を非常に単純かつ効果的な方法で定量化することを提案する。 低精度勾配では、GBDTトレーニングにおけるほとんどの算術演算は、8, 16, 32ビットの整数演算に置き換えられる。 大規模なデータセット上でのSOTA GBDTシステムと比較して、単純な量子化戦略の2$times$スピードアップを観測する。
  論文  参考訳（メタデータ） (2022-07-20T06:27:06Z)
• Accelerated Stochastic Gradient for Nonnegative Tensor Completion and Parallel Implementation [0.3670422696827525]
  我々は、交互最適化フレームワークを採用し、勾配加速アルゴリズムのバリエーションを用いて、各非負行列補完問題を解く。 高速化を実現するマルチスレッドAPI OpenMP を用いて,提案アルゴリズムの共有メモリ実装を開発する。
  論文  参考訳（メタデータ） (2021-09-20T13:32:12Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• Soft Gradient Boosting Machine [72.54062017726154]
  複数の異なるベースラーナを連携させて,ソフトなグラディエントブースティングマシン(sGBM)を提案する。 実験の結果,sGBMは,オンラインとオフラインの両方で同一の学習者に対して,より高精度な時間効率を享受できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。