論文の概要: PACSET (Packed Serialized Trees): Reducing Inference Latency for Tree
Ensemble Deployment
- arxiv url: http://arxiv.org/abs/2011.05383v1
- Date: Tue, 10 Nov 2020 20:32:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 08:23:46.915737
- Title: PACSET (Packed Serialized Trees): Reducing Inference Latency for Tree
Ensemble Deployment
- Title(参考訳): PACSET (Packed Serialized Trees): ツリーアンサンブル展開における推論レイテンシ低減
- Authors: Meghana Madhyastha, Kunal Lillaney, James Browne, Joshua Vogelstein,
Randal Burns
- Abstract要約: モデルがまだメモリにロードされていない場合の推論遅延を最適化する,ツリーアンサンブルのシリアライズとデシリアライズを行う手法を提案する。
組込みシリアライズドツリー(PACSET)は、外部メモリアルゴリズムの原理を用いて、ツリーアンサンブルのレイアウトにおける参照ローカリティを符号化する。
その結果、各I/Oは有用なデータの割合が高くなり、対話型ワークロードの分類遅延が2~6倍削減される。
- 参考スコア(独自算出の注目度): 4.314299343332365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present methods to serialize and deserialize tree ensembles that optimize
inference latency when models are not already loaded into memory. This arises
whenever models are larger than memory, but also systematically when models are
deployed on low-resource devices, such as in the Internet of Things, or run as
Web micro-services where resources are allocated on demand. Our packed
serialized trees (PACSET) encode reference locality in the layout of a tree
ensemble using principles from external memory algorithms. The layout
interleaves correlated nodes across multiple trees, uses leaf cardinality to
collocate the nodes on the most popular paths and is optimized for the I/O
blocksize. The result is that each I/O yields a higher fraction of useful data,
leading to a 2-6 times reduction in classification latency for interactive
workloads.
- Abstract(参考訳): モデルがまだメモリにロードされていない場合の推論遅延を最適化する,ツリーアンサンブルのシリアライズとデシリアライズを行う手法を提案する。
これは、モデルがメモリよりも大きい場合だけでなく、モノのインターネットのような低リソースデバイスにモデルがデプロイされる場合や、必要に応じてリソースが割り当てられるWebマイクロサービスとして実行される場合にも発生する。
組込みシリアライズドツリー(PACSET)は、外部メモリアルゴリズムの原理を用いて、ツリーアンサンブルのレイアウトにおける参照ローカリティを符号化する。
レイアウトは複数の木にまたがる相関ノードをインターリーブし、リーフ濃度を使って最も人気のあるパス上のノードをコロケーションし、i/oブロックに最適化される。
その結果、各I/Oは有用なデータの割合が高くなり、対話型ワークロードの分類遅延が2~6倍削減される。
関連論文リスト
- Wasserstein Auto-Encoders of Merge Trees (and Persistence Diagrams) [5.384630221560809]
本稿では、マージツリーの自動符号化(MT-WAE)のための計算フレームワークを提案する。
ベクトル化されたデータを扱う従来のオートエンコーダとは対照的に,ネットワークの各層における関連計量空間上のマージ木を明示的に操作する。
公開アンサンブルの実験では,MT-WAE計算を平均数分のオーダーで行うことで,アルゴリズムの効率を実証した。
論文 参考訳(メタデータ) (2023-07-05T09:46:52Z) - SETAR-Tree: A Novel and Accurate Tree Algorithm for Global Time Series
Forecasting [7.206754802573034]
本稿では,TARモデルと回帰木との密接な関係について検討する。
本研究では,葉のグローバルプール回帰(PR)モデルをトレーニングする,予測固有木アルゴリズムを提案する。
本評価では, 提案した樹木モデルと森林モデルを用いて, 最先端の樹木モデルよりも精度の高い木モデルを提案する。
論文 参考訳(メタデータ) (2022-11-16T04:30:42Z) - ForestPrune: Compact Depth-Controlled Tree Ensembles [7.538482310185135]
我々は,個々の木から深度層を刈り取ることで,木アンサンブルを後処理する新しいフレームワークであるフォレストプルーを紹介する。
本研究では,フォレストプルーネにおける問題に対する高品質な解を効率的に得るための最適化アルゴリズムを開発した。
実験により、フォレストプルーンは既存の後処理アルゴリズムによって抽出されたモデルより優れたパシモニアスモデルを生成することを示した。
論文 参考訳(メタデータ) (2022-05-31T22:04:18Z) - Point Cloud Compression with Sibling Context and Surface Priors [47.96018990521301]
大規模クラウド圧縮のための新しいオクツリーベースのマルチレベルフレームワークを提案する。
本稿では,オクツリーの階層的依存性を探索する新しいエントロピーモデルを提案する。
表面をボクセルベースの幾何認識モジュールで局所的に整合させ,エントロピー符号化における幾何学的先行情報を提供する。
論文 参考訳(メタデータ) (2022-05-02T09:13:26Z) - Tree Energy Loss: Towards Sparsely Annotated Semantic Segmentation [141.16965264264195]
Sparsely Annotated semantic segmentation (SASS) は、粗い粒度の監督によるセグメンテーションネットワークのトレーニングを目的としている。
ラベルなし画素のセマンティックガイダンスを提供することにより,SASSの新たなツリーエネルギー損失を提案する。
論文 参考訳(メタデータ) (2022-03-21T05:16:23Z) - Shrub Ensembles for Online Classification [7.057937612386993]
決定木(DT)アンサンブルは、データの変化に適応しながら優れたパフォーマンスを提供するが、リソース効率は良くない。
本稿では,資源制約システムのための新しいメモリ効率の高いオンライン分類アンサンブルである低木アンサンブルを提案する。
我々のアルゴリズムは、小さな窓に小から中程度の決定木を訓練し、勾配降下を利用してこれらの低木のアンサンブル重みを学習する。
論文 参考訳(メタデータ) (2021-12-07T14:22:43Z) - Rethinking Space-Time Networks with Improved Memory Coverage for
Efficient Video Object Segmentation [68.45737688496654]
各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。
対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。
すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
論文 参考訳(メタデータ) (2021-06-09T16:50:57Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳(メタデータ) (2020-12-29T18:05:05Z) - OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression [77.8842824702423]
本稿では,LiDAR点雲のメモリフットプリントを削減するための新しいディープ圧縮アルゴリズムを提案する。
本手法は,メモリフットプリントを低減するために,点間の間隔と構造的冗長性を利用する。
我々のアルゴリズムは、自動運転車などのアプリケーションにおいて、LiDARポイントのオンボードおよびオフボードストレージを減らすために使用できる。
論文 参考訳(メタデータ) (2020-05-14T17:48:49Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳(メタデータ) (2020-04-21T08:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。