論文の概要: SpaceCache: Intermediate Feature Reuse for Efficient Semantic Segmentation on Point Cloud Streams
- arxiv url: http://arxiv.org/abs/2610.21207v1
- Date: Thu, 15 Oct 2026 04:02:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.171548
- Title: SpaceCache: Intermediate Feature Reuse for Efficient Semantic Segmentation on Point Cloud Streams
- Title(参考訳): SpaceCache:Point Cloud Streams上の効率的なセマンティックセグメンテーションのための中間機能再利用
- Abstract要約: ポイントクラウドストリームは自動運転とロボティクスの中心であるが、既存のセグメンテーションネットワークはスクラッチからすべてのフレームを処理する。
フレーム間でこれらの機能を再利用する、トレーニング不要の機能キャッシュであるSpaceCacheを紹介します。
SpaceCacheは1ポイント未満のmIoUドロップで最大1.65倍のスピードアップを実現し、トークンマージメソッドを一貫して上回っている。
- 参考スコア(独自算出の注目度): 11.147452424670421
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Point-cloud streams are central to autonomous driving and robotics, yet existing segmentation networks process every frame from scratch, although consecutive frames largely overlap. We observe that the intermediate features of point-cloud transformers remain semantically consistent across frames for the same spatial region, especially in deep stages. Building on this, we present SpaceCache, a training-free feature cache that reuses these features across frames. Tokens of previously observed regions skip a sequence of transformer blocks and take their cached features, only the remaining tokens are computed, and the full token layout is restored for dense prediction. Lightweight cache management keeps reused features reliable by limiting each entry's age and evicting low-confidence entries. Unlike token merging, SpaceCache selects tokens at negligible cost and runs its cache operations once per encoder stage. On both outdoor and indoor benchmarks, such as nuScenes, Waymo, and ScanNet, with two transformer backbones of Utonia and LitePT-B, SpaceCache achieves up to 1.65x speedup with less than 1-point mIoU drop and consistently outperforms token-merging methods.
- Abstract(参考訳): ポイントクラウドストリームは自動運転とロボティクスの中心であるが、既存のセグメンテーションネットワークはスクラッチからすべてのフレームを処理する。
点雲変換器の中間的特徴は、特に深層部において、同じ空間領域のフレーム間で意味的に一致している。
この上に構築されたSpaceCacheは、フレーム間でこれらの機能を再利用する、トレーニング不要の機能キャッシュです。
予め観測された領域のトークンは、変圧器ブロックのシーケンスをスキップし、キャッシュされた特徴を取り、残りのトークンのみを計算し、全トークンレイアウトを高密度な予測のために復元する。
軽量キャッシュ管理は、各エントリの年齢を制限し、低信頼のエントリを除外することで、再利用機能の信頼性を維持している。
トークンのマージとは異なり、SpaceCacheはトークンを無視可能なコストで選択し、エンコーダステージ毎にキャッシュ操作を実行する。
ウトニアとライトPT-Bの2つのトランスフォーマーバックボーンを持つnuScenes、Waymo、ScanNetなどの屋外および屋内ベンチマークでは、SpaceCacheは最大1.65倍のスピードアップを達成する。
関連論文リスト
- OmniCache: Multidimensional Hierarchical Feature Caching For Diffusion Models [8.344012950413108]
SD3、FLUX、最近のビデオ拡散変換器を含む高解像度画像およびビデオ拡散モデルは、生成品質を大幅に改善したが、推論時には高価である。
モデル重みの変更や再トレーニングではなく,中間拡散特性の冗長性を活用することで,この非効率性に対処する。
多次元機能再利用を実現する階層型キャッシュフレームワークであるOmniCacheを提案する。
論文 参考訳(メタデータ) (2026-07-26T21:14:48Z) - Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。
リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。
正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
論文 参考訳(メタデータ) (2026-04-17T09:24:58Z) - PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。
効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
論文 参考訳(メタデータ) (2026-01-07T19:51:06Z) - LLMCache: Layer-Wise Caching Strategies for Accelerated Reuse in Transformer Inference [0.0]
トランスフォーマーベースの言語モデルは、幅広いタスクで顕著なパフォーマンスを達成したが、その高い推論レイテンシは、リアルタイムおよび大規模デプロイメントにおいて大きな課題となっている。
LLMCacheは,入力シーケンスのセマンティックな類似性に基づいて中間的アクティベーションを再利用することで,トランスフォーマー推論を高速化する新しいレイヤワイドキャッシュフレームワークである。
論文 参考訳(メタデータ) (2025-12-18T18:18:57Z) - FastCache: Fast Caching for Diffusion Transformer Through Learnable Linear Approximation [43.83288560196838]
DiT (Diffusion Transformer) は強力な生成モデルであるが、その反復構造と深部変圧器スタックのために計算集約性を維持している。
FastCacheは、DiT推論を高速化する隠れ状態レベルのキャッシュおよび圧縮フレームワークである。
複数のDiT変種にまたがる実証的な評価は、レイテンシとメモリ使用量の大幅な削減を示している。
論文 参考訳(メタデータ) (2025-05-26T05:58:49Z) - Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。
本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。
命令符号化では,キャッシュの重要性を評価するために周波数を利用する。
様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-07-25T15:29:05Z) - Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。
本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
論文 参考訳(メタデータ) (2024-06-24T03:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。