Fugu-MT 論文翻訳(概要): Optimization of Decision Tree Evaluation Using SIMD Instructions

論文の概要: Optimization of Decision Tree Evaluation Using SIMD Instructions

arxiv url: http://arxiv.org/abs/2205.07307v1
Date: Sun, 15 May 2022 15:12:40 GMT
ステータス: 処理完了
システム内更新日: 2022-05-18 05:53:21.746717
Title: Optimization of Decision Tree Evaluation Using SIMD Instructions
Title（参考訳）: SIMD命令を用いた決定木評価の最適化
Authors: Alexey Mironov, Ilnur Khuziev
Abstract要約: 人気のCatBoostライブラリの祖先であるMatrixNetを探索する。本稿では,より効率的にモデルを評価するために,AVX命令セットが与える機会について検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Decision forest (decision tree ensemble) is one of the most popular machine learning algorithms. To use large models on big data, like document scoring with learning-to-rank models, we need to evaluate these models efficiently. In this paper, we explore MatrixNet, the ancestor of the popular CatBoost library. Both libraries use the SSE instruction set for scoring on CPU. This paper investigates the opportunities given by the AVX instruction set to evaluate models more efficiently. We achieved 35% speedup on the binarization stage (nodes conditions comparison), and 20% speedup on the trees apply stage on the ranking model.
Abstract（参考訳）: 決定フォレスト(decision tree ensemble)は、最も人気のある機械学習アルゴリズムの1つである。学習からランクへのモデルによるドキュメントスコアリングなど,ビッグデータで大規模モデルを使用するには,これらのモデルを効率的に評価する必要がある。本稿では,人気のCatBoostライブラリの祖先であるMatrixNetについて検討する。どちらのライブラリもCPU上でのスコアリングにSSE命令セットを使用する。本稿では,avx命令セットがモデルをより効率的に評価する機会について検討する。 2値化ステージ(ノード条件比較)では35%のスピードアップを達成し,木に対する20%のスピードアップをランキングモデルに適用した。

関連論文リスト

Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
論文参考訳（メタデータ） (2024-06-12T08:31:34Z)
Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
論文参考訳（メタデータ） (2024-06-10T13:25:43Z)
Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
論文参考訳（メタデータ） (2024-05-06T16:03:32Z)
Register Your Forests: Decision Tree Ensemble Optimization by Explicit CPU Register Allocation [3.737361598712633]
本稿では,決定木アンサンブルに対するコード生成手法を提案し,単一の変換ステップ内で機械組立コードを生成する。その結果,決定木アンサンブル推論の性能は大幅に向上できることが示唆された。
論文参考訳（メタデータ） (2024-04-10T09:17:22Z)
Fast Inference of Tree Ensembles on ARM Devices [6.995377781193234]
我々は、人気の高いQuickScorerアルゴリズムとその兄弟をIntelのAVXからARMのNEON命令セットに変換する。第三に、ランダム森林における定点量子化の利用効果について検討する。
論文参考訳（メタデータ） (2023-05-15T12:05:03Z)
Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
論文参考訳（メタデータ） (2023-03-27T15:18:32Z)
Towards a learning-based performance modeling for accelerating Deep Neural Networks [1.1549572298362785]
我々は、畳み込みニューラルネットワーク(CNN)を最適化するために、機械学習技術に基づく予測モデルの調査を開始する。 MidgardベースのARM Mali GPUの予備実験では、我々の予測モデルはライブラリが手作業で選択したすべての畳み込み演算子よりも優れていた。
論文参考訳（メタデータ） (2022-12-09T18:28:07Z)
Using Model-Based Trees with Boosting to Fit Low-Order Functional ANOVA Models [5.131758478675364]
低次関数型ANOVAモデルは、本質的に解釈可能な機械学習の目的のもと、機械学習(ML)コミュニティで再発見された。我々は,EMMに類似する新しいアルゴリズムであるGAMI-Treeを提案する。我々は、シミュレーションと実データを用いて、GAMI-Treeの性能と解釈可能性をEMMとGAMI-Netと比較する。
論文参考訳（メタデータ） (2022-07-14T14:23:14Z)
Cortex: A Compiler for Recursive Deep Learning Models [12.307249556836375]
ディープラーニングモデルのための高効率コードを生成するコンパイラベースのアプローチであるCortexを提案する。当社のコンパイラアプローチとベンダライブラリへの依存度が低いことで、エンドツーエンドの最適化が可能になりました。
論文参考訳（メタデータ） (2020-11-02T23:35:14Z)
MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文参考訳（メタデータ） (2020-07-24T17:06:55Z)
Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
論文参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。