論文の概要: KeyRec: Bounded Visual Memory for Streaming and Long-Video Understanding

• arxiv url: http://arxiv.org/abs/2609.32182v1
• Date: Sat, 26 Sep 2026 03:15:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 19:13:10.779808
• Title: KeyRec: Bounded Visual Memory for Streaming and Long-Video Understanding
• Title（参考訳）: KeyRec: ストリーミングと長時間のビデオ理解のためのバウンドビジュアルメモリ
• Abstract要約: 有界ビジュアルメモリ構築のためのトレーニングフリーフレームワークである textbfKeyRec を提案する。 KeyRecは、視覚的なキャッシュ内での詳細な最近の観測を保存し、歴史的な証拠を構造化されたイベントバンクに整理する。 密度の高いデコーダに面したビジュアルトーケンの予算の10%しか使用せず、15設定中13設定で最高の圧縮性能を達成する。
• 参考スコア（独自算出の注目度）: 28.229841957965174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models are increasingly used to understand long videos and continuous streams. However, dense visual tokens accumulate with video duration, making long-context inference prohibitively expensive. Existing training-free visual-token selection methods reduce this cost by retaining informative tokens, but may lose coherent event evidence and fail to distinguish detailed recent observations from long-range history. We propose \textbf{KeyRec}, a training-free framework for constructing bounded visual memory. During query-agnostic writing, KeyRec preserves fine-grained recent observations in a visual cache and organizes historical evidence into a structured event bank. Candidate events are proposed according to their novelty relative to previously stored events and maintained through an online add--merge--evict update. When a question arrives, a text-only router adaptively allocates a fixed readout budget between recent and event memory, without reprocessing historical frames. KeyRec operates on model-facing visual embeddings and supports both modular encoder--projector VLMs and the encoder- and projector-free NEO-ov architecture. Across four streaming and long-video benchmarks and three VLM backbones, KeyRec achieves the best compressed performance in 13 of 15 settings using only 10\% of the dense decoder-facing visual-token budget. It outperforms the strongest compressed baseline by 2.21--18.37 points on real-time questions, achieves the best compressed result in five of six long-video settings, and performs best in every NEO-ov 2B setting.
• Abstract（参考訳）: 視覚言語モデルは、長いビデオや連続ストリームを理解するためにますます使われています。 しかし、濃密な視覚トークンはビデオの長さとともに蓄積され、長文推論は違法に高価になる。 既存のトレーニング不要の視覚的トークン選択法は、情報トークンを保持することによってこのコストを削減しているが、一貫性のある事象の証拠を失い、近年の詳細な観察と長距離の歴史を区別できない可能性がある。 本稿では,有界ビジュアルメモリ構築のためのトレーニングフリーフレームワークである‘textbf{KeyRec} を提案する。 KeyRecはクエリ非依存の書き込みにおいて、視覚キャッシュ内の詳細な最近の観察を保存し、歴史的な証拠を構造化されたイベントバンクに整理する。 候補イベントは、前述したイベントと比較して新規性に応じて提案され、オンラインのアド・マージ・エビデント更新を通じて維持される。 質問が到着すると、テキストのみのルータは、履歴フレームを再処理することなく、最新のメモリとイベントメモリの間に固定された読み出し予算を適応的に割り当てる。 KeyRecはモデル対応のビジュアル埋め込みで動作し、モジュラーエンコーダ-プロジェクタVLMとエンコーダ-およびプロジェクタフリーNEO-ovアーキテクチャの両方をサポートしている。 4つのストリーミングとロングビデオのベンチマークと3つのVLMバックボーンで、KeyRecは、密集したデコーダを対象とするビジュアルトーケンの予算の10倍しか使用せずに、15のセッティングのうち13で最高の圧縮パフォーマンスを達成する。 リアルタイムの質問に対して2.21-18.37ポイントの圧縮されたベースラインよりも優れており、6つの長ビデオ設定のうち5つで最高の圧縮結果が得られ、NEO-ov 2B設定毎に最高となる。

関連論文リスト

• Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
  既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。 より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:50Z)
• CoPE-VideoLM: Codec Primitives For Efficient Video Language Models [56.76440182038839]
  ビデオ言語モデル(Video Language Models, ビデオ言語モデル)は、ビデオの時間的ダイナミクスを理解するためのAIシステムである。 現在の方法では、マクロレベルのイベントとマイクロレベルの詳細の両方を見逃すことができるサンプリングを使用する。 多くのフレームに対して高価なフルイメージエンコーディングを必要とせず、ビデオ冗長性と疎結合性を符号化するビデオプリミティブを活用することを提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:57:31Z)
• Seeing the Forest and the Trees: Query-Aware Tokenizer for Long-Video Multimodal Language Models [24.875526594002434]
  長いビデオ理解シナリオのための視覚トークン選択モジュールであるQTSplusを提案する。 Qwen2.5-VLに統合され、ビジョンストリームを textbf89% まで圧縮し、長いビデオでは textbf28% でエンドツーエンドのレイテンシを低減する。 以上の結果から,QTSplusはMLLMを現実世界の長ビデオシナリオに拡張するための,効果的で汎用的なメカニズムであることが示唆された。
  論文  参考訳（メタデータ） (2025-11-14T22:41:27Z)
• StreamMem: Query-Agnostic KV Cache Memory for Streaming Video Understanding [14.50396424661833]
  StreamMemは、ストリーミングビデオ理解のためのクエリに依存しないKVキャッシュメモリメカニズムである。 クエリ非依存のKVキャッシュ圧縮における最先端のパフォーマンスを実現し、クエリ対応圧縮アプローチと競合する。
  論文  参考訳（メタデータ） (2025-08-21T16:56:29Z)
• TextVidBench: A Benchmark for Long Video Scene Text Understanding [60.94150574231576]
  TextVidBenchは、長ビデオテキスト質問応答用に設計された最初のベンチマークである(>3分)。 TextVidBenchは3つの重要な貢献をしている: 9つのカテゴリ(ニュース、スポーツ、ゲームなど)を平均2306秒で拡大し、より現実的な長ビデオ理解を可能にする。 i)IT-ロープ機構と時間的プロンプトエンジニアリングを導入し、時間的知覚を高めること、(ii)非一様位置符号化を採用して長いビデオシーケンスをよりよく扱うこと、(iii)軽量な微調整を施すことにより、大規模モデルを改善するための効率的なパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-06-05T12:54:56Z)
• METok: Multi-Stage Event-based Token Compression for Efficient Long Video Understanding [55.38256656122857]
  トレーニング不要なマルチステージイベントベースのToken圧縮フレームワークであるMETokを提案する。 我々はMETokが情報的視覚トークンを動的に選択することで効率と精度の最適なトレードオフを実現することを示す。 例えば、LongVA-7BをMETokに装備すると、80.6%のFLOPが削減され、93.5%のKVキャッシュメモリが節約される。
  論文  参考訳（メタデータ） (2025-06-03T13:19:41Z)
• VideoScan: Enabling Efficient Streaming Video Understanding via Frame-level Semantic Carriers [23.541896057977745]
  VideoScanは、リアルタイムビデオインタラクションのための効率的な視覚言語モデル(VLM)推論フレームワークである。 VideoScanでは、各フレームを表すために単一のセマンティックキャリアトークンを使用している。
  論文  参考訳（メタデータ） (2025-03-12T13:30:40Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• Streaming Long Video Understanding with Large Language Models [83.11094441893435]
  VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。 一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。 提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
  論文  参考訳（メタデータ） (2024-05-25T02:22:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。