論文の概要: STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation
- arxiv url: http://arxiv.org/abs/2607.02922v1
- Date: Fri, 03 Jul 2026 03:28:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.459497
- Title: STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation
- Title（参考訳）: STAC:ビデオ推論セグメンテーションのための時空間アグリゲーションと圧縮
- Abstract要約: ビデオセグメンテーションでは、複雑な自然言語クエリの下で数百フレームにわたるピクセル精度の高いオブジェクトトラッキングが要求される。
既存のメソッドはトークン圧縮を通じてこの問題に対処するが、典型的には時間的コンテキストを持たない機能で動作する。
状態空間モデルは、この制約を解決し、その線形反復性は、各トークンを時間的文脈で選択的に$mathcalO(T)$コスト圧縮して減少させる。
- 参考スコア（独自算出の注目度）: 60.597357847359255
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Video reasoning segmentation demands pixel-accurate object tracking across hundreds of frames under complex natural language queries, producing dense spatiotemporal tokens whose quadratic self-attention cost makes long-video processing prohibitive. Existing methods address this through token compression, yet typically operate on encoder features lacking temporal context, constraining selection before content redundancy can be reliably assessed. Informed compression requires contextual awareness, but acquiring that awareness at full resolution incurs the same quadratic cost compression aims to reduce. State-space models resolve this constraint, as their linear recurrence selectively conditions each token on temporal context at $\mathcal{O}(T)$ cost, producing representations where content redundancy becomes assessable. Building on this, Selective SpatioTemporal Aggregation and Compression (STAC) enriches features via decoupled bidirectional spatial and causal temporal scanning, leveraging recurrence-derived redundancy for hierarchical compression with adaptive thresholds optimised with segmentation objective. STAC achieves 85% token reduction and 1.8$\times$ speedup while surpassing compression-free baselines on reasoning segmentation benchmarks in a zero-shot streaming-compatible setting. Code is available \href{https://github.com/MCG-NKU/nku-video}{here}.
- Abstract（参考訳）: ビデオ推論セグメンテーションは、複雑な自然言語クエリの下で数百フレームにわたるピクセル精度の高いオブジェクト追跡を必要とし、二次的自己保持コストが長いビデオ処理を禁ずるような高密度な時空間トークンを生成する。
既存のメソッドはトークン圧縮を通じてこの問題に対処するが、典型的には時間的コンテキストを欠いたエンコーダ機能で動作し、コンテンツ冗長性が確実に評価される前に選択を制限する。
インフォームド圧縮は文脈的認識を必要とするが、フル解像度での認識を得ることで、同じ二次的コスト圧縮が発生する。
状態空間モデルは、各トークンを時間的文脈で選択的に$\mathcal{O}(T)$コストで条件付けし、コンテンツ冗長性が評価可能な表現を生成するため、この制約を解消する。
これに基づいて、Selective SpatioTemporal Aggregation and Compression (STAC)は、二方向空間と因果時間走査を分離して特徴を豊かにする。
STACは85%のトークン削減と1.8$\times$スピードアップを実現し、ゼロショットのストリーミング互換設定でセグメンテーションベンチマークを推論する圧縮のないベースラインを超えた。
コードは href{https://github.com/MCG-NKU/nku-video}{here} で入手できる。
関連論文リスト
- Think in Sets for Streaming Video Token Compression [11.833562937219753]
ストリーミングビデオは因果的かつフレーム単位のプルーニング決定をするので、フレーム間のインタラクションをモデル化するには明確な履歴参照が必要である。
我々はNovaCovを導入し、ストリーミングビデオ用に設計された、最初のトレーニング不要でプラグ&プレイのセットワイドトークン圧縮機について紹介する。
論文 参考訳（メタデータ） (2026-08-02T11:44:51Z) - Group-of-Latents: Perceptual Video Compression at Extreme Bitrates via Masked Latent Generative Modeling [49.11379121512358]
本稿では,事前学習した拡散変圧器を組み込んだ統合生成フレームワークを提案し,高い知覚品質を極端に低速で達成する。
提案手法は,空間的細部が豊富で時間的整合性が強い,最先端の知覚的忠実度を実現する。
論文 参考訳（メタデータ） (2026-07-21T06:36:32Z) - End-to-End Context Compression at Scale [81.70601323130997]
長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。
KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。
既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
論文 参考訳（メタデータ） (2026-06-08T15:43:16Z) - Adaptive Tokenisation Via Temporal Redundancy Masking And Latent Inpainting [18.71433885255431]
適応的ビデオトークン化(Adaptive Video tokenisation)は、シーケンスの基盤となる視覚的複雑さに基づいて、トークンの予算を動的に割り当てる。
凍結連続ビデオトークンの潜伏空間は,直接利用可能な時間的冗長性を本質的に符号化していることを示す。
パラメータフリー適応トークン割り当て機構を導入し,時間-L1差分に対する固定しきい値を適用した。
論文 参考訳（メタデータ） (2026-06-04T13:31:12Z) - OTT-Vid: Optimal Transport Temporal Token Compression for Video Large Language Models [39.853488828881986]
OTT-Vidは、時間的トークン圧縮のためのトランスポートから派生したアロケーションフレームワークである。
OTT-VidはVQAの95.8%、VTGのパフォーマンスの73.9%を維持し、トークンの10%しか保持していない。
論文 参考訳（メタデータ） (2026-05-12T08:58:49Z) - KiToke: Kernel-based Interval-aware Token Compression for Video Large Language Models [12.489375650998554]
KiTokeは、トレーニング不要でクエリに依存しないトークン圧縮アプローチである。
カーネルベースの測度を用いて,トークンの多様性を世界規模で推定する。
実験の結果, KiToke は既存のトレーニング不要圧縮法よりも優れていた。
論文 参考訳（メタデータ） (2026-04-03T19:18:22Z) - Towards Practical Lossless Neural Compression for LiDAR Point Clouds [84.36825469211375]
高精度な幾何学的詳細の極端に広い範囲は、効率的な文脈モデリングを妨げる。
私たちのフレームワークは2つの軽量モジュールで構成されています。
実験では、リアルタイムに競争力のある圧縮性能を示す。
論文 参考訳（メタデータ） (2026-03-26T10:02:07Z) - Unified Spatiotemporal Token Compression for Video-LLMs at Ultra-Low Retention [23.015486635502437]
ビデオ言語モデル(ビデオ-LLM)は、大量の視覚トークンのために高い計算コストに直面している。
グローバルな選択トークンに意味的類似性を重み付けする統一選択機構を提案する。
選択されていないトークンはクラスタリングとリフィルによってマージされ、情報の整合性を保持する。
我々の統合的時間トークン圧縮戦略は,超低トークン保持下での映像理解における最先端技術を確立する。
論文 参考訳（メタデータ） (2026-03-23T13:15:22Z) - Generative Video Compression with One-Dimensional Latent Representation [59.29493435530304]
1次元(1次元)遅延表現(GVC1D)による生成ビデオ圧縮について紹介する。
GVC1Dはビデオデータを、短期と長期の両方の文脈で条件付けられた極端にコンパクトな1D潜在トークンにエンコードする。
実験結果から,GVC1Dの圧縮効率は従来の圧縮法よりも優れていた。
論文 参考訳（メタデータ） (2026-03-16T14:02:17Z) - Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation [49.48204107529758]
我々はトークンオーバーフローを、圧縮された表現が与えられたクエリに応答する十分な情報を含んでいない状態として定義する。
本稿では,非圧縮トークン表現から,クエリ非依存の飽和統計を確実に分離することを見出した。
クエリとコンテキストの両方のxRAG表現上の軽量なプローブ分類器は平均0.72 AUC-ROCでオーバーフローを検出する。
これらの結果は、クエリ非依存の診断からクエリ対応検出まで進歩し、低コストのプレLLMゲーティングにより、圧縮によるエラーを軽減できる。
論文 参考訳（メタデータ） (2026-02-12T18:15:08Z) - VideoCompressa: Data-Efficient Video Understanding via Joint Temporal Compression and Spatial Reconstruction [55.66673587952058]
ビデオ理解モデルは、大規模データセットの禁止ストレージと計算コストによって、ますます制限されている。
VideoCompressaはビデオデータ合成のための新しいフレームワークで、動的潜在圧縮として問題を再構成する。
論文 参考訳（メタデータ） (2025-11-24T07:07:58Z) - DNN-Driven Compressive Offloading for Edge-Assisted Semantic Video
Segmentation [7.9955920576321615]
本稿では,エッジ支援セマンティックセグメンテーションに適した一様圧縮方式STACを提案する。
現状のアルゴリズムと比較して,STACは精度を損なうことなく最大20.95%の帯域幅を節約できることを示す。
論文 参考訳（メタデータ） (2022-03-28T03:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。