論文の概要: Think in Sets for Streaming Video Token Compression
- arxiv url: http://arxiv.org/abs/2608.01169v1
- Date: Sun, 02 Aug 2026 11:44:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.1086
- Title: Think in Sets for Streaming Video Token Compression
- Title（参考訳）: ビデオトーケン圧縮をストリーミングするセットで考える
- Abstract要約: ストリーミングビデオは因果的かつフレーム単位のプルーニング決定をするので、フレーム間のインタラクションをモデル化するには明確な履歴参照が必要である。
我々はNovaCovを導入し、ストリーミングビデオ用に設計された、最初のトレーニング不要でプラグ&プレイのセットワイドトークン圧縮機について紹介する。
- 参考スコア（独自算出の注目度）: 11.833562937219753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Streaming VideoLLMs process frames causally while visual tokens grow continuously, making compression essential for controlling prefilling latency and memory. Existing training-free methods independently rank tokens, ignoring marginal-gain interactions among retained tokens. We argue that streaming video token compression should instead be formulated as set selection, where each candidate is valued by what it adds beyond the tokens already retained. Unlike existing set-wise methods designed for offline tasks, streaming makes causal, frame-by-frame pruning decisions, so modeling cross-frame interactions requires an explicit historical reference. This creates a reference-set dilemma: the reference must adequately represent previously conveyed content while remaining bounded for real-time inference. We introduce NovaCov, to our knowledge the first training-free, plug-and-play set-wise token compressor designed for streaming video. NovaCov maintains a capacity-bounded, recency-weighted Historical Reference Bank and optimizes a dual-branch submodular coverage objective that preserves representative current-frame content while prioritizing information insufficiently covered by history. Both branches are facility-location functions, so greedy selection retains the classical (1-1/e) approximation guarantee. Across streaming and offline benchmarks, NovaCov outperforms existing training-free compression methods, retaining 99.6% of ReKV accuracy while reducing LLM prefilling latency by 46%.
- Abstract（参考訳）: VideoLLMsプロセスのストリーミングは慎重にフレーム化され、ビジュアルトークンは継続的に成長し、プレフィルのレイテンシとメモリを制御するために圧縮が不可欠である。
既存のトレーニングフリーな手法はトークンを独立してランク付けし、保持トークン間の利得相互作用を無視する。
ストリーミングビデオトークン圧縮は、代わりにセットセレクションとして定式化されるべきである、と我々は主張する。
オフラインタスク用に設計された既存のセットワイズメソッドとは異なり、ストリーミングは因果的、フレーム毎のプルーニング決定を行うため、フレーム間の相互作用をモデル化するには明確な履歴参照が必要である。
これにより、参照セットのジレンマが生成される: 参照は、リアルタイムの推論のためにバウンドされたまま、事前に伝達されたコンテンツを適切に表現する必要がある。
我々はNovaCovを導入し、ストリーミングビデオ用に設計された、最初のトレーニング不要でプラグ&プレイのセットワイドトークン圧縮機について紹介する。
ノヴァコフはキャパシティ・バウンドのレクリエーション・ヘビード・ヒストリー・レファレンス・レファレンス・バンクを維持しており、歴史によってカバーされていない情報を優先順位付けしながら、代表的現在のフレームコンテンツを保存する二重ブランチのサブモジュラー・カバレッジ目標を最適化している。
両方の枝は施設配置関数であるため、欲求選択は古典的な(1-1/e)近似を保証する。
ストリーミングとオフラインのベンチマークを通じて、NovaCovは既存のトレーニング不要圧縮手法よりも優れており、99.6%のReKV精度を維持し、LLMプリフィル遅延を46%削減している。
関連論文リスト
- Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。
我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。
VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
論文 参考訳（メタデータ） (2026-07-20T18:37:58Z) - STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation [60.597357847359255]
ビデオセグメンテーションでは、複雑な自然言語クエリの下で数百フレームにわたるピクセル精度の高いオブジェクトトラッキングが要求される。
既存のメソッドはトークン圧縮を通じてこの問題に対処するが、典型的には時間的コンテキストを持たない機能で動作する。
状態空間モデルは、この制約を解決し、その線形反復性は、各トークンを時間的文脈で選択的に$mathcalO(T)$コスト圧縮して減少させる。
論文 参考訳（メタデータ） (2026-07-03T03:28:25Z) - Adaptive Tokenisation Via Temporal Redundancy Masking And Latent Inpainting [18.71433885255431]
適応的ビデオトークン化(Adaptive Video tokenisation)は、シーケンスの基盤となる視覚的複雑さに基づいて、トークンの予算を動的に割り当てる。
凍結連続ビデオトークンの潜伏空間は,直接利用可能な時間的冗長性を本質的に符号化していることを示す。
パラメータフリー適応トークン割り当て機構を導入し,時間-L1差分に対する固定しきい値を適用した。
論文 参考訳（メタデータ） (2026-06-04T13:31:12Z) - MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。
MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。
長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-05-21T10:13:03Z) - CoRDS: Coreset-based Representative and Diverse Selection for Streaming Video Understanding [30.287018710590257]
大規模な視覚言語モデル(VLM)によるビデオ理解のストリーミングには、成長を続ける視覚履歴に対する将来の推論をサポートするためのコンパクトなメモリが必要である。
一般的な解決策はキー値(KV)キャッシュを圧縮することだが、既存のストリーミングメソッドは通常、ローカルトークンに頼っている。
我々は,KV-cache圧縮を,保持のために独立にトークンをスコアリングするのではなく,コアセット選択問題とみなす。
論文 参考訳（メタデータ） (2026-05-14T03:22:30Z) - Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。
SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
論文 参考訳（メタデータ） (2026-05-08T15:40:40Z) - Progressive Online Video Understanding with Evidence-Aligned Timing and Transparent Decisions [75.23170605943457]
textbfmodelは、メモリ統合から推論制御を分離するフレームワークである。
emphActive Thinking Decision Maker (ATDM)は、決定プロセスの外部化を行う透明な推論コントローラである。
emphHierarchical Progressive Semantic Integration (HPSI)モジュールは効率的なメモリシステムとして機能する。
論文 参考訳（メタデータ） (2026-04-20T16:15:33Z) - Unified Spatiotemporal Token Compression for Video-LLMs at Ultra-Low Retention [23.015486635502437]
ビデオ言語モデル(ビデオ-LLM)は、大量の視覚トークンのために高い計算コストに直面している。
グローバルな選択トークンに意味的類似性を重み付けする統一選択機構を提案する。
選択されていないトークンはクラスタリングとリフィルによってマージされ、情報の整合性を保持する。
我々の統合的時間トークン圧縮戦略は,超低トークン保持下での映像理解における最先端技術を確立する。
論文 参考訳（メタデータ） (2026-03-23T13:15:22Z) - Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。
より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
論文 参考訳（メタデータ） (2026-02-20T18:59:50Z) - StreamingTOM: Streaming Token Compression for Efficient Video Understanding [6.9203477336374775]
既存のアプローチはLLM後のkv-cacheのみを規制し、コストのかかるLLM前のプリフィルは変わらない。
StreamingTOMは,LLM前とLLM後の両方のボトルネックに,予測可能なレイテンシで対処する,トレーニングフリーでプラグイン&プレイの2段階フレームワークです。
実験では, 従来のSOTAと比較して, 15.7 時間で kv-cache 圧縮, 12 時間で低ピークメモリ, 2 時間で速い TTFT 圧縮を実現している。
論文 参考訳（メタデータ） (2025-10-21T03:39:41Z) - VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。
Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
論文 参考訳（メタデータ） (2025-03-21T09:46:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。