論文の概要: RS$^3$-Prune: Read-Sparse, Store-Sparse Token Pruning for Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2608.22526v1
• Date: Sun, 23 Aug 2026 17:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.784838
• Title: RS$^3$-Prune: Read-Sparse, Store-Sparse Token Pruning for Video Object Segmentation
• Title（参考訳）: RS$^3$-Prune: ビデオオブジェクトセグメンテーションのためのリードスパース、ストアスパーストークンプルーニング
• Abstract要約: RS$3$-Pruneは、推論時間フックの小さなセットとしてインスタンス化される、トレーニング不要なトークン処理のレシピである。 RS$3$-Pruneは最大38.8%のFPSスピードアップを提供し、13.1%のピークメモリ使用量を減らす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce RS$^3$-Prune, a training-free token-pruning recipe that instantiates as a small set of inference time hooks atop existing video object segmentation (VOS) networks. Modern VOS models have converged on a common, expensive design: an image encoder produces a dense token grid for every frame, and a memory bank accumulates these tokens across all previously processed frames to condition future predictions. As a video grows longer, the resulting token budget governs both per-frame latency and peak GPU memory. Hence these models break on use cases such as --- long-form video or real-time deployment on memory-bounded accelerators. In this work we argue that the right axis along which to compress memory-bank VOS is the token budget itself. RS$^3$-Prune operates in two precise locations within an arbitrary memory-bank VOS pipeline: at the boundary between the image encoder and the memory-attention readout, where we restrict the queries that participate in the cross-frame attention to only a small, geometrically informed subset; and at the boundary between the memory encoder and the memory bank, where we restrict which tokens are ever permitted to enter the bank to those that lie within the object's spatial extent. Over various established benchmarks, RS$^3$-Prune delivers up to $38.8\%$ FPS speedup and reduces $13.1\%$ peak memory usage, while preserving a competitive $\mathcal{J}$&$\mathcal{F}$ compared to the unmodified VOS networks.
• Abstract（参考訳）: 本稿では,既存のビデオオブジェクトセグメンテーション(VOS)ネットワーク上の推論時間フックの小さなセットとしてインスタンス化する,トレーニング不要なトークン処理レシピRS$3$-Pruneを紹介する。 イメージエンコーダはすべてのフレームに対して高密度なトークングリッドを生成し、メモリバンクはこれらのトークンを前処理されたすべてのフレームに蓄積し、将来の予測を条件付ける。 ビデオが長くなるにつれて、結果として生じるトークンの予算は、フレーム単位のレイテンシとピークGPUメモリの両方を支配します。 したがって、これらのモデルは---ロングフォームビデオやメモリバウンドアクセラレータへのリアルタイムデプロイメントのようなユースケースで壊れる。 この研究では、メモリバンクVOSを圧縮する正しい軸がトークン予算そのものであると主張している。 RS$^3$-Pruneは任意のメモリバンクVOSパイプライン内の2つの正確な場所で動作します。イメージエンコーダとメモリアテンションリードアウトの境界では、クロスフレームアテンションに参加するクエリを、小さな幾何学的に情報を得たサブセットに制限します。 様々な確立されたベンチマークにおいて、RS$^3$-Pruneは最大38.8\%のFPSスピードアップを実現し、13.1\%のピークメモリ使用量を削減し、競合する$\mathcal{J}$&$\mathcal{F}$を未修正のVOSネットワークと比較して保存する。

関連論文リスト

• Towards a Dynamic and Fixed-budget Memory Bank for Efficient Streaming Video Understanding [56.17043150838547]
  CausalMemは動的ビジュアルメモリ更新機構の構築に特化している。 視覚トークンの冗長性を推定し、オンラインセマンティックベースでメモリバンクを更新する。 textbf20$times$ visual token compression ratioを達成し、textbf82 MBストレージのみを占有する。
  論文  参考訳（メタデータ） (2026-06-24T10:11:08Z)
• AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
  我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。 AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。 これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
  論文  参考訳（メタデータ） (2026-06-01T17:56:35Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
  既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。 より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:50Z)
• CoPE-VideoLM: Codec Primitives For Efficient Video Language Models [56.76440182038839]
  ビデオ言語モデル(Video Language Models, ビデオ言語モデル)は、ビデオの時間的ダイナミクスを理解するためのAIシステムである。 現在の方法では、マクロレベルのイベントとマイクロレベルの詳細の両方を見逃すことができるサンプリングを使用する。 多くのフレームに対して高価なフルイメージエンコーディングを必要とせず、ビデオ冗長性と疎結合性を符号化するビデオプリミティブを活用することを提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:57:31Z)
• VideoScan: Enabling Efficient Streaming Video Understanding via Frame-level Semantic Carriers [23.541896057977745]
  VideoScanは、リアルタイムビデオインタラクションのための効率的な視覚言語モデル(VLM)推論フレームワークである。 VideoScanでは、各フレームを表すために単一のセマンティックキャリアトークンを使用している。
  論文  参考訳（メタデータ） (2025-03-12T13:30:40Z)
• Learning Quality-aware Dynamic Memory for Video Object Segmentation [32.06309833058726]
  本稿では,各フレームのセグメンテーション品質を評価するために,QDMN(Quality-Aware Dynamic Memory Network)を提案する。 我々のQDMNは、DAVISとYouTube-VOSベンチマークの両方で最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-07-16T12:18:04Z)
• Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
  一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。 本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。 また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
  論文  参考訳（メタデータ） (2022-05-08T02:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。