論文の概要: A GPU-Accelerated Moving-Horizon Algorithm for Training Deep
Classification Trees on Large Datasets
- arxiv url: http://arxiv.org/abs/2311.06952v1
- Date: Sun, 12 Nov 2023 20:34:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 16:18:19.979655
- Title: A GPU-Accelerated Moving-Horizon Algorithm for Training Deep
Classification Trees on Large Datasets
- Title（参考訳）: 大規模データセット上での深い分類木を訓練するためのgpu高速化移動ホライゾンアルゴリズム
- Authors: Jiayang Ren, Valent\'in Osuna-Enciso, Morimasa Okamoto, Qiangqiang
Mao, Chaojie Ji, Liang Cao, Kaixun Hua, Yankai Cao
- Abstract要約: 連続的な特徴を持つ分類木(MH-DEOCT)に対する移動水平微分アルゴリズムを提案する。
本手法は,隣接サンプル間の重複探索を除去する離散木復号法により構成する。
MH-DEOCTは、トレーニングとテストのほぼ最適性能を達成する。
- 参考スコア（独自算出の注目度）: 13.02279265869312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decision trees are essential yet NP-complete to train, prompting the
widespread use of heuristic methods such as CART, which suffers from
sub-optimal performance due to its greedy nature. Recently, breakthroughs in
finding optimal decision trees have emerged; however, these methods still face
significant computational costs and struggle with continuous features in
large-scale datasets and deep trees. To address these limitations, we introduce
a moving-horizon differential evolution algorithm for classification trees with
continuous features (MH-DEOCT). Our approach consists of a discrete tree
decoding method that eliminates duplicated searches between adjacent samples, a
GPU-accelerated implementation that significantly reduces running time, and a
moving-horizon strategy that iteratively trains shallow subtrees at each node
to balance the vision and optimizer capability. Comprehensive studies on 68 UCI
datasets demonstrate that our approach outperforms the heuristic method CART on
training and testing accuracy by an average of 3.44% and 1.71%, respectively.
Moreover, these numerical studies empirically demonstrate that MH-DEOCT
achieves near-optimal performance (only 0.38% and 0.06% worse than the global
optimal method on training and testing, respectively), while it offers
remarkable scalability for deep trees (e.g., depth=8) and large-scale datasets
(e.g., ten million samples).
- Abstract（参考訳）: 決定木は訓練に必須であるがnp完全であり、カートのようなヒューリスティックな方法が広く使われ、その欲望の強い性質のために最適でない性能に苦しめられている。
近年、最適決定木を見つけるためのブレークスルーが出現しているが、これらの手法は依然として大きな計算コストに直面し、大規模データセットやディープツリーの継続的な特徴に苦しむ。
これらの制約に対処するために、連続的な特徴を持つ分類木(MH-DEOCT)に対する移動水平微分進化アルゴリズムを導入する。
提案手法は,隣接するサンプル間の重複探索を除去する離散木復号法と,実行時間を大幅に短縮するGPU高速化実装と,各ノードの浅いサブツリーを反復的にトレーニングし,ビジョンとオプティマイザ能力のバランスをとる移動水平戦略からなる。
68のuciデータセットに関する包括的研究は、トレーニングとテストの精度を平均3.44%と1.71%というヒューリスティックな手法を上回っていることを示している。
さらに,これらの数値実験により,mh-deoctが最適に近い性能(トレーニングやテストのグローバル最適法よりも0.38%,0.06%低い)を達成できることが実証され,深木(深さ=8)や大規模データセット(例:1000万サンプル)のスケーラビリティが著しく向上した。
関連論文リスト
- Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。
DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。
非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
論文 参考訳（メタデータ） (2024-08-21T05:09:53Z) - Massive Dimensions Reduction and Hybridization with Meta-heuristics in Deep Learning [0.24578723416255746]
ヒストグラムに基づく微分進化(HBDE)は、パラメータを最適化するために勾配に基づくアルゴリズムと勾配のないアルゴリズムをハイブリダイズする。
HBDEは、CIFAR-10とCIFAR-100データセットに基づいて評価されたベースライン勾配と親勾配のないDEMアルゴリズムより優れている。
論文 参考訳（メタデータ） (2024-08-13T20:28:20Z) - Rolling Lookahead Learning for Optimal Classification Trees [0.0]
本稿では,木構築における最適手法の展望と,ミオピックアプローチの相対的拡張性を組み合わせた転がりサブツリールックアヘッドアルゴリズムを提案する。
提案手法は1330件のうち808件において最適, 筋電図的アプローチよりも優れ, サンプル外精度を最大で23.6%, 14.4%向上した。
論文 参考訳（メタデータ） (2023-04-21T09:17:00Z) - Minimizing the Accumulated Trajectory Error to Improve Dataset
Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。
合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。
本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文 参考訳（メタデータ） (2022-11-20T15:49:11Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - A bi-level encoding scheme for the clustered shortest-path tree problem
in multifactorial optimization [1.471992435706872]
CluSPT(Clustered Shortest-Path Tree Problem)は、実生活における様々な最適化問題において重要な役割を果たしている。
近年、CluSPTを扱うためにMFEA(Multifactorial Evolutionary Algorithm)が導入されている。
本稿では,MFEAに基づくCluSPTの解法について述べる。
論文 参考訳（メタデータ） (2021-02-12T13:36:07Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Towards Efficient and Scalable Acceleration of Online Decision Tree
Learning on FPGA [20.487660974785943]
ビッグデータの時代において、従来の決定木誘導アルゴリズムは大規模なデータセットを学習するのに適していない。
本稿では,現在最先端のオンライン学習モデルの1つであるHoeffdingツリーの帰納化を改善するために,新しいQuantileベースのアルゴリズムを提案する。
フィールドプログラミング可能なゲートアレイ上に,高性能,ハードウェア効率,スケーラブルなオンライン決定木学習システムを提案する。
論文 参考訳（メタデータ） (2020-09-03T03:23:43Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳（メタデータ） (2020-07-24T17:06:55Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳（メタデータ） (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。