論文の概要: RFX: High-Performance Random Forests with GPU Acceleration and QLORA Compression

• arxiv url: http://arxiv.org/abs/2511.19493v1
• Date: Sun, 23 Nov 2025 12:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.040458
• Title: RFX: High-Performance Random Forests with GPU Acceleration and QLORA Compression
• Title（参考訳）: RFX: GPUアクセラレーションとQLORA圧縮を備えた高性能ランダムフォレスト
• Authors: Chris Kuchar,
• Abstract要約: RFX (Random Forests X) は、X が圧縮または量子化の略であり、Python で Breiman と Cutler の Random Forest 分類方法論のプロダクション対応の実装を提供する。 RFX v1.0は完全な分類を提供する:out-of-bagエラー推定、総合的および局所的重要度測定、QLORA圧縮による近接行列、ケースワイズ分析、インタラクティブ可視化(rfviz)。 回帰、教師なし学習、CLIQUEの重要性、RF-GAP近接はv2.0で計画されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: RFX (Random Forests X), where X stands for compression or quantization, presents a production-ready implementation of Breiman and Cutler's Random Forest classification methodology in Python. RFX v1.0 provides complete classification: out-of-bag error estimation, overall and local importance measures, proximity matrices with QLORA compression, case-wise analysis, and interactive visualization (rfviz)--all with CPU and GPU acceleration. Regression, unsupervised learning, CLIQUE importance, and RF-GAP proximity are planned for v2.0. This work introduces four solutions addressing the proximity matrix memory bottleneck limiting Random Forest analysis to ~60,000 samples: (1) QLORA (Quantized Low-Rank Adaptation) compression for GPU proximity matrices, reducing memory from 80GB to 6.4MB for 100k samples (12,500x compression with INT8 quantization) while maintaining 99% geometric structure preservation, (2) CPU TriBlock proximity--combining upper-triangle storage with block-sparse thresholding--achieving 2.7x memory reduction with lossless quality, (3) SM-aware GPU batch sizing achieving 95% GPU utilization, and (4) GPU-accelerated 3D MDS visualization computing embeddings directly from low-rank factors using power iteration. Validation across four implementation modes (GPU/CPU x case-wise/non-case-wise) demonstrates correct implementation. GPU achieves 1.4x speedup over CPU for overall importance with 500+ trees. Proximity computation scales from 1,000 to 200,000+ samples (requiring GPU QLORA), with CPU TriBlock filling the gap for medium-scale datasets (10K-50K samples). RFX v1.0 eliminates the proximity memory bottleneck, enabling proximity-based Random Forest analysis on datasets orders of magnitude larger than previously feasible. Open-source production-ready classification following Breiman and Cutler's original methodology.
• Abstract（参考訳）: RFX (Random Forests X) は、X が圧縮または量子化の略であり、Python で Breiman と Cutler の Random Forest 分類方法論のプロダクション対応の実装を提供する。 RFX v1.0は完全な分類を提供する:out-of-bagエラー推定、総合的および局所的重要度測定、QLORA圧縮による近接行列、ケースワイズ分析、インタラクティブ可視化(rfviz)、そしてCPUとGPUアクセラレーションである。 回帰、教師なし学習、CLIQUEの重要性、RF-GAP近接はv2.0で計画されている。 QLORA (Quantized Low-Rank Adaptation) compression for GPU Near matrices, memory from 80GB to 6.4MB for 100k sample (12,500x compression with INT8 Quantization) while maintain 99% geometry structure storage, (2) CPU TriBlock near-combining upper-triangle storage with block-sparse thresholding-- achieved 2.7x memory reduction with lossless quality, (3) SM-aware GPU batch sizing 95% GPU utilization, (4) GPU-accelerated 3D MDS visualization computings directly-rank factors from low-rank factor using power。 4つの実装モード(GPU/CPU x case-wise/non-case-wise)の検証は正しい実装を示している。 GPUは500以上の木でCPUの1.4倍のスピードアップを実現している。 確率計算は1,000から200,000以上のサンプル(GPU QLORAの要求)からスケールし、CPU TriBlockは中規模データセット(10K-50Kサンプル)のギャップを埋める。 RFX v1.0は、近接メモリボトルネックを排除し、近接ベースのRandom Forest分析を可能にする。 Breiman と Cutler の元々の方法論に倣ったオープンソース生産対応の分類。

関連論文リスト

• FuseSampleAgg: Fused Neighbor Sampling and Aggregation for Mini-batch GNNs [51.56484100374058]
  FuseSampleAggは、隣人の平均アグリゲーションをGraphSAGEの1つのパスにフューズし、サンプリングする。 Operatorは決定論的であり、標準のPyTorchと統合され、CSVログからすべてのテーブルとフィギュアを再現するスクリプトが同梱されている。
  論文  参考訳（メタデータ） (2025-11-17T17:57:18Z)
• Efficient Low Rank Attention for Long-Context Inference in Large Language Models [41.24530756499533]
  低ランククエリとキーアテンション(LRQK)は、プリフィル段階で、完全精度クエリとキー行列をコンパクトなランク-(r)要素に分解するフレームワークである。 トップ(k)トークンと、最近のトークンの小さな固定セットだけを選択することで、LRQKは、完全に精度の低いKVペアだけを転送するヒットアンドミス機構を備えた混合GPU-CPUキャッシュを使用する。
  論文  参考訳（メタデータ） (2025-10-25T11:43:27Z)
• xMem: A CPU-Based Approach for Accurate Estimation of GPU Memory in Deep Learning Training Workloads [2.2991119948183525]
  ジョブがどれだけのGPUメモリを必要とするかを推定することは、高度なスケジューリングとGPUの共有を可能にするための基本となる。 我々は、CPUのみの動的解析を利用してGPUメモリのピーク要求を正確に推定する新しいフレームワークであるxMemを提案する。 ANOVAとMonte Carloの結果を含む5209実行の解析は、xMemのメリットを強調している。
  論文  参考訳（メタデータ） (2025-10-23T23:16:27Z)
• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
  大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• HeadInfer: Memory-Efficient LLM Inference by Head-wise Offloading [79.38548165722229]
  HEADINFERはKVキャッシュをCPURAMにオフロードするが、GPU上のトランスフォーマー層のKVキャッシュを完全に保存する必要はない。 HEADINFERはメモリフットプリントを大幅に削減し,計算効率を向上することを示した。
  論文  参考訳（メタデータ） (2025-02-18T06:26:05Z)
• KVPR: Efficient LLM Inference with I/O-Aware KV Cache Partial Recomputation [7.204881999658682]
  キーバリューキャッシュは、大きな言語モデルの中間アクティベーションを格納するために使用される。 KVキャッシュに必要なメモリは急速に増加し、しばしばGPUメモリの容量を超える。 既存の方法は、GPU計算をI/Oで重複させたり、CPU-GPUの不均一な実行を採用することで、これらの問題に対処しようとする。 本稿では,CPUが最初にアクティベーションの部分集合を転送する,効率的なI/O対応LPM推論手法であるKVPRを紹介する。 KVPRは、最先端のアプローチと比較して最大で35.8%のレイテンシと46.2%のスループットを実現している。
  論文  参考訳（メタデータ） (2024-11-26T04:03:14Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs [4.536118764799076]
  ハードウェアに制限がある微調整済みの大規模言語モデルでは、GPUメモリの制約が問題となっている。 LLMemは、分散微調整法を適用する際のGPUメモリ消費を推定するソリューションである。 LLMemは1つのGPU上でのピークGPUメモリ使用量を正確に推定し、エラー率は最大1.6%であることを示す。
  論文  参考訳（メタデータ） (2024-04-16T22:11:35Z)
• HEAT: A Highly Efficient and Affordable Training System for Collaborative Filtering Based Recommendation on CPUs [11.007606356081435]
  協調フィルタリング(CF)は推奨のための最も効果的な手法の1つであることが証明されている。 マルチコアCPUにSimpleXを最適化する作業はなく、パフォーマンスが制限されている。 本稿では,現代CPUのマルチレベルキャッシュとマルチスレッド機能を完全に実現した効率的なCFトレーニングシステム(HEAT)を提案する。
  論文  参考訳（メタデータ） (2023-04-14T18:07:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。