論文の概要: Optimization of Decision Tree Evaluation Using SIMD Instructions
- arxiv url: http://arxiv.org/abs/2205.07307v1
- Date: Sun, 15 May 2022 15:12:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 05:53:21.746717
- Title: Optimization of Decision Tree Evaluation Using SIMD Instructions
- Title(参考訳): SIMD命令を用いた決定木評価の最適化
- Authors: Alexey Mironov, Ilnur Khuziev
- Abstract要約: 人気のCatBoostライブラリの祖先であるMatrixNetを探索する。
本稿では,より効率的にモデルを評価するために,AVX命令セットが与える機会について検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision forest (decision tree ensemble) is one of the most popular machine
learning algorithms. To use large models on big data, like document scoring
with learning-to-rank models, we need to evaluate these models efficiently. In
this paper, we explore MatrixNet, the ancestor of the popular CatBoost library.
Both libraries use the SSE instruction set for scoring on CPU. This paper
investigates the opportunities given by the AVX instruction set to evaluate
models more efficiently. We achieved 35% speedup on the binarization stage
(nodes conditions comparison), and 20% speedup on the trees apply stage on the
ranking model.
- Abstract(参考訳): 決定フォレスト(decision tree ensemble)は、最も人気のある機械学習アルゴリズムの1つである。
学習からランクへのモデルによるドキュメントスコアリングなど,ビッグデータで大規模モデルを使用するには,これらのモデルを効率的に評価する必要がある。
本稿では,人気のCatBoostライブラリの祖先であるMatrixNetについて検討する。
どちらのライブラリもCPU上でのスコアリングにSSE命令セットを使用する。
本稿では,avx命令セットがモデルをより効率的に評価する機会について検討する。
2値化ステージ(ノード条件比較)では35%のスピードアップを達成し,木に対する20%のスピードアップをランキングモデルに適用した。
関連論文リスト
- Towards Constituting Mathematical Structures for Learning to Optimize [101.80359461134087]
近年,機械学習を利用してデータから最適化アルゴリズムを自動学習する技術が注目されている。
ジェネリックL2Oアプローチは反復更新ルールをパラメータ化し、ブラックボックスネットワークとして更新方向を学ぶ。
一般的なアプローチは広く適用できるが、学習されたモデルは過度に適合し、配布外テストセットにうまく一般化できない。
本稿では, 分布外問題に対して広く適用でき, 一般化された, 数学に着想を得た構造を持つ新しいL2Oモデルを提案する。
論文 参考訳(メタデータ) (2023-05-29T19:37:28Z) - Fast Inference of Tree Ensembles on ARM Devices [6.995377781193234]
我々は、人気の高いQuickScorerアルゴリズムとその兄弟をIntelのAVXからARMのNEON命令セットに変換する。
第三に、ランダム森林における定点量子化の利用効果について検討する。
論文 参考訳(メタデータ) (2023-05-15T12:05:03Z) - Improving Dual-Encoder Training through Dynamic Indexes for Negative
Mining [61.09807522366773]
本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。
我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
論文 参考訳(メタデータ) (2023-03-27T15:18:32Z) - Towards a learning-based performance modeling for accelerating Deep
Neural Networks [1.1549572298362785]
我々は、畳み込みニューラルネットワーク(CNN)を最適化するために、機械学習技術に基づく予測モデルの調査を開始する。
MidgardベースのARM Mali GPUの予備実験では、我々の予測モデルはライブラリが手作業で選択したすべての畳み込み演算子よりも優れていた。
論文 参考訳(メタデータ) (2022-12-09T18:28:07Z) - Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。
我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。
実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文 参考訳(メタデータ) (2022-09-15T15:41:47Z) - Using Model-Based Trees with Boosting to Fit Low-Order Functional ANOVA
Models [5.131758478675364]
低次関数型ANOVAモデルは、本質的に解釈可能な機械学習の目的のもと、機械学習(ML)コミュニティで再発見された。
我々は,EMMに類似する新しいアルゴリズムであるGAMI-Treeを提案する。
我々は、シミュレーションと実データを用いて、GAMI-Treeの性能と解釈可能性をEMMとGAMI-Netと比較する。
論文 参考訳(メタデータ) (2022-07-14T14:23:14Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳(メタデータ) (2021-05-07T11:39:05Z) - High-Performance Training by Exploiting Hot-Embeddings in Recommendation
Systems [2.708848417398231]
推奨モデルは、電子商取引およびオンライン広告ベースのアプリケーションのためにユーザーに関連アイテムを提案する一般的な学習モデルです。
これらのモデルは大量の埋め込みテーブルを使用して、アイテムとユーザのカテゴリ変数の数値表現を格納する。
これらの競合する計算とメモリの要件のために、推奨モデルのトレーニングプロセスはCPUとGPUに分割されます。
本稿では、スキューテーブルアクセスを活用して、トレーニング中にGPUリソースを効率的に活用する。
論文 参考訳(メタデータ) (2021-03-01T01:43:26Z) - Cortex: A Compiler for Recursive Deep Learning Models [12.307249556836375]
ディープラーニングモデルのための高効率コードを生成するコンパイラベースのアプローチであるCortexを提案する。
当社のコンパイラアプローチとベンダライブラリへの依存度が低いことで、エンドツーエンドの最適化が可能になりました。
論文 参考訳(メタデータ) (2020-11-02T23:35:14Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳(メタデータ) (2020-07-24T17:06:55Z) - Heuristic Semi-Supervised Learning for Graph Generation Inspired by
Electoral College [80.67842220664231]
本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。
テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2020-06-10T14:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。