論文の概要: RETENTION: Resource-Efficient Tree-Based Ensemble Model Acceleration with Content-Addressable Memory

• arxiv url: http://arxiv.org/abs/2506.05994v1
• Date: Fri, 06 Jun 2025 11:25:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.44877
• Title: RETENTION: Resource-Efficient Tree-Based Ensemble Model Acceleration with Content-Addressable Memory
• Title（参考訳）: RETENTION:コンテンツ適応型メモリを用いた資源効率の良いツリーベースアンサンブルモデル高速化
• Authors: Yi-Chun Liao, Chieh-Lin Tsai, Yuan-Hao Chang, Camélia Slimani, Jalil Boukhobza, Tei-Wei Kuo,
• Abstract要約: RETENTIONは、ツリーベースのモデル推論のCAMキャパシティ要求を大幅に削減するエンドツーエンドフレームワークである。 本稿では,CAMにおけるドナー状態の広範利用によるメモリ冗長性を軽減するために,2つの革新的なデータ配置戦略を取り入れたツリーマッピング手法を提案する。
• 参考スコア（独自算出の注目度）: 9.502789435634975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although deep learning has demonstrated remarkable capabilities in learning from unstructured data, modern tree-based ensemble models remain superior in extracting relevant information and learning from structured datasets. While several efforts have been made to accelerate tree-based models, the inherent characteristics of the models pose significant challenges for conventional accelerators. Recent research leveraging content-addressable memory (CAM) offers a promising solution for accelerating tree-based models, yet existing designs suffer from excessive memory consumption and low utilization. This work addresses these challenges by introducing RETENTION, an end-to-end framework that significantly reduces CAM capacity requirement for tree-based model inference. We propose an iterative pruning algorithm with a novel pruning criterion tailored for bagging-based models (e.g., Random Forest), which minimizes model complexity while ensuring controlled accuracy degradation. Additionally, we present a tree mapping scheme that incorporates two innovative data placement strategies to alleviate the memory redundancy caused by the widespread use of don't care states in CAM. Experimental results show that implementing the tree mapping scheme alone achieves $1.46\times$ to $21.30 \times$ better space efficiency, while the full RETENTION framework yields $4.35\times$ to $207.12\times$ improvement with less than 3% accuracy loss. These results demonstrate that RETENTION is highly effective in reducing CAM capacity requirement, providing a resource-efficient direction for tree-based model acceleration.
• Abstract（参考訳）: ディープラーニングは、構造化されていないデータから学習する際、顕著な能力を示してきたが、現代のツリーベースのアンサンブルモデルは、構造化されたデータセットから関連する情報や学習を抽出する上で優位である。 木に基づくモデルを加速する試みはいくつかあるが、モデル固有の特性は従来の加速器にとって重要な課題である。 近年のCAM(Content-addressable memory)を活用した研究は、ツリーベースモデルの高速化に有望なソリューションを提供するが、既存の設計では過剰なメモリ消費と低利用に悩まされている。 この作業は、ツリーベースモデル推論のCAMキャパシティ要求を大幅に削減するエンドツーエンドフレームワークであるRETENTIONを導入することで、これらの課題に対処する。 本稿では,バッグングモデル(例えばランダムフォレスト)に適した新しいプルーニング基準付き反復プルーニングアルゴリズムを提案する。 さらに,CAMにおけるドナー状態の広範利用によるメモリ冗長性を軽減するために,2つの革新的なデータ配置戦略を取り入れたツリーマッピング方式を提案する。 実験の結果、ツリーマッピングスキームの実装だけでは、より優れた空間効率が21.30ドル、完全なRETENTIONフレームワークは4.35ドル、精度が3%以下で改善が207.12ドルに達することが示されている。 これらの結果から,RETENTIONはCAMのキャパシティ要求を低減し,ツリーベースモデルアクセラレーションの資源効率向上に有効であることが示唆された。

関連論文リスト

• Lightweight and Post-Training Structured Pruning for On-Device Large Lanaguage Models [11.93284417365518]
  我々は,ハイブリッド・グラニュラリティ・プルーニング戦略を用いた軽量なポストトレーニング構造化プルーニング手法Compumを紹介する。 Compは、LLM-Prunerと比較して20%のプルーニング比でLLaMA-2-7Bモデルの性能を6.13%向上させる。
  論文  参考訳（メタデータ） (2025-01-25T16:03:58Z)
• Forecasting with Hyper-Trees [50.72190208487953]
  Hyper-Treesは時系列モデルのパラメータを学習するために設計されている。 対象とする時系列モデルのパラメータを特徴に関連付けることで、Hyper-Treesはパラメータ非定常性の問題にも対処する。 この新しいアプローチでは、木はまず入力特徴から情報表現を生成し、浅いネットワークはターゲットモデルパラメータにマップする。
  論文  参考訳（メタデータ） (2024-05-13T15:22:15Z)
• Accelerating Deep Neural Networks via Semi-Structured Activation Sparsity [0.0]
  ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。 そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。 当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
  論文  参考訳（メタデータ） (2023-09-12T22:28:53Z)
• SETAR-Tree: A Novel and Accurate Tree Algorithm for Global Time Series Forecasting [7.206754802573034]
  本稿では,TARモデルと回帰木との密接な関係について検討する。 本研究では,葉のグローバルプール回帰(PR)モデルをトレーニングする,予測固有木アルゴリズムを提案する。 本評価では, 提案した樹木モデルと森林モデルを用いて, 最先端の樹木モデルよりも精度の高い木モデルを提案する。
  論文  参考訳（メタデータ） (2022-11-16T04:30:42Z)
• Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
  コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。 最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。 しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。 本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
  論文  参考訳（メタデータ） (2021-01-18T03:24:48Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
  ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。 ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T14:34:07Z)
• An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices [58.62801151916888]
  パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。 新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
  論文  参考訳（メタデータ） (2020-01-20T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。