論文の概要: TREE: Tree Regularization for Efficient Execution
- arxiv url: http://arxiv.org/abs/2406.12531v1
- Date: Tue, 18 Jun 2024 12:01:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 19:17:37.199568
- Title: TREE: Tree Regularization for Efficient Execution
- Title（参考訳）: TREE: 効率的な実行のためのツリー正規化
- Authors: Lena Schmid, Daniel Biebert, Christian Hakert, Kuan-Hsun Chen, Michel Lang, Markus Pauly, Jian-Jia Chen,
- Abstract要約: 本稿では,決定木の訓練中に不均一な確率分布を報知することにより,経路長を削減する手法を提案する。
具体的には,CARTアルゴリズムの不純物を規則化し,低不純物だけでなく,分割基準の評価にも高い非対称分布を求める。
- 参考スコア（独自算出の注目度）: 4.205565040528205
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The rise of machine learning methods on heavily resource constrained devices requires not only the choice of a suitable model architecture for the target platform, but also the optimization of the chosen model with regard to execution time consumption for inference in order to optimally utilize the available resources. Random forests and decision trees are shown to be a suitable model for such a scenario, since they are not only heavily tunable towards the total model size, but also offer a high potential for optimizing their executions according to the underlying memory architecture. In addition to the straightforward strategy of enforcing shorter paths through decision trees and hence reducing the execution time for inference, hardware-aware implementations can optimize the execution time in an orthogonal manner. One particular hardware-aware optimization is to layout the memory of decision trees in such a way, that higher probably paths are less likely to be evicted from system caches. This works particularly well when splits within tree nodes are uneven and have a high probability to visit one of the child nodes. In this paper, we present a method to reduce path lengths by rewarding uneven probability distributions during the training of decision trees at the cost of a minimal accuracy degradation. Specifically, we regularize the impurity computation of the CART algorithm in order to favor not only low impurity, but also highly asymmetric distributions for the evaluation of split criteria and hence offer a high optimization potential for a memory architecture-aware implementation. We show that especially for binary classification data sets and data sets with many samples, this form of regularization can lead to an reduction of up to approximately four times in the execution time with a minimal accuracy degradation.
- Abstract（参考訳）: 大量のリソース制約のあるデバイス上での機械学習手法の台頭は、ターゲットプラットフォームに適したモデルアーキテクチャを選択するだけでなく、利用可能なリソースを最適に活用するために、推論の実行時間消費に関して選択されたモデルの最適化も必要である。
ランダムフォレストと決定木は、モデル全体のサイズに合わせて調整可能なだけでなく、基礎となるメモリアーキテクチャに従って実行を最適化する可能性も高いため、このようなシナリオに適したモデルであることが示されている。
決定木を通る短いパスを強制し、推論の実行時間を短縮するという簡単な戦略に加えて、ハードウェア対応の実装は、直交的に実行時間を最適化することができる。
ハードウェアを意識した最適化の1つは、決定ツリーのメモリをそのような方法でレイアウトすることである。
これは特に、ツリーノード内の分割が不均一で、子ノードの1つを訪問する確率が高い場合に有効である。
本稿では,決定木を訓練する際の不均一な確率分布を最小限の精度で補正することにより,経路長を削減する手法を提案する。
具体的には、CARTアルゴリズムの不純物計算を規則化し、低不純物だけでなく、分割基準の評価のための高非対称分布を優先し、メモリアーキテクチャを意識した実装において高い最適化可能性を提供する。
特に2値分類データセットや多くのサンプルを持つデータセットの場合、この形式は最小限の精度で実行時間を最大4倍に短縮できることを示す。
関連論文リスト
- Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。
基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。
我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
論文 参考訳（メタデータ） (2022-09-27T17:51:31Z) - Single MCMC Chain Parallelisation on Decision Trees [0.9137554315375919]
本稿では,平均的なラップトップやパソコン上でMCMC決定ツリーチェーンを並列化する手法を提案する。
実験の結果,シリアルと並列実装が統計的に同一である場合,実行時間を18倍に向上できることがわかった。
論文 参考訳（メタデータ） (2022-07-26T07:07:51Z) - bsnsing: A decision tree induction method based on recursive optimal
boolean rule composition [2.28438857884398]
本稿では,決定木帰納過程における分割規則選択を最適化するMIP(Mixed-integer Programming)の定式化を提案する。
商用の解法よりも高速に実例を解くことができる効率的な探索解法を開発した。
論文 参考訳（メタデータ） (2022-05-30T17:13:57Z) - Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to
Infer Hardware Performances [58.720142291102135]
VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。
これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-05-09T22:48:39Z) - SPDY: Accurate Pruning with Speedup Guarantees [29.284147465251685]
SPDYは、所望の推論スピードアップを達成するために、レイヤーワイドのスパシティターゲットを自動的に決定する新しい圧縮手法である。
また,SPDYは,ワンショットおよび段階的なプルーニングシナリオにおいて,既存の戦略と比較して高い精度を回復しつつ,スピードアップを保証していることを示す。
また、非常に少ないデータでプルーニングを行うという最近提案されたタスクにアプローチを拡張し、GPUをサポートする2:4のスパーシティパターンにプルーニングする際に最もよく知られた精度回復を実現する。
論文 参考訳（メタデータ） (2022-01-31T10:14:31Z) - Stochastic Optimization Forests [60.523606291705214]
標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。
概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
論文 参考訳（メタデータ） (2020-08-17T16:56:06Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳（メタデータ） (2020-07-24T17:06:55Z) - Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
様々な目的に対して最適な決定木を生成する手法を提案する。
また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-06-15T19:00:11Z) - TASO: Time and Space Optimization for Memory-Constrained DNN Inference [5.023660118588569]
畳み込みニューラルネットワーク(CNN)は、産業用ロボティクスや自動化システムからモバイルデバイスでの生体認証まで、多くの組み込みアプリケーションで使用されている。
本稿では、畳み込み層を実装するプリミティブ演算を選択するための整数線形計画法(ILP)に基づくCNNモデルの事前ドメイン固有最適化手法を提案する。
論文 参考訳（メタデータ） (2020-05-21T15:08:06Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2020-04-14T07:54:53Z) - Bayesian Neural Architecture Search using A Training-Free Performance
Metric [7.775212462771685]
リカレントニューラルネットワーク(RNN)は時系列予測の強力なアプローチである。
本稿では,ベイズ最適化(BO)アルゴリズムの変種を用いて,アーキテクチャ最適化問題に取り組むことを提案する。
また,可変長アーキテクチャ表現に対処する3つの固定長符号化方式を提案する。
論文 参考訳（メタデータ） (2020-01-29T08:42:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。