論文の概要: Towards a Dynamic and Fixed-budget Memory Bank for Efficient Streaming Video Understanding

• arxiv url: http://arxiv.org/abs/2606.25658v1
• Date: Wed, 24 Jun 2026 10:11:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.307217
• Title: Towards a Dynamic and Fixed-budget Memory Bank for Efficient Streaming Video Understanding
• Title（参考訳）: 効率的なストリーミング映像理解のための動的・固定予算記憶バンクの実現に向けて
• Abstract要約: CausalMemは動的ビジュアルメモリ更新機構の構築に特化している。 視覚トークンの冗長性を推定し、オンラインセマンティックベースでメモリバンクを更新する。 textbf20$times$ visual token compression ratioを達成し、textbf82 MBストレージのみを占有する。
• 参考スコア（独自算出の注目度）: 56.17043150838547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Currently, streaming video understanding is still a daunting task for existing \emph{multimodal large language models} (MLLMs). Its difficulties not only lie in handling the ever-increasing video frames, but also in the unpredictability of future video content and input instructions. In this paper, we study this task from the perspective of constructing a dynamic but fixed-budget memory bank, and propose a novel and training-free approach termed \emph{\textbf{CausalMem}}. CausalMem is dedicated to constructing a dynamic visual memory update mechanism, thereby maximizing the amount of information in streaming video within a limited memory space, much like the human brain. In practice, CausalMem estimates the redundancy of visual tokens and updates the memory bank via an online semantic basis, which models the principal semantics of the observed video stream. To validate CausalMem, we apply it to two representative MLLMs, namely LLaVA-OneVision and Qwen2.5-VL respectively, and conduct extensive experiments on both streaming and offline video understanding benchmarks. The experimental results not only show the great advantages than existing methods under both streaming and offline settings, \emph{e.g.}, $+3.2\%$ and $+3.0\%$ average accuracy gains respectively, but also witness the superior semantic preservation for streaming videos, \emph{e.g.}, using 12$k$ token budgets to memorize hour-long streaming videos, which achieves more than \textbf{20$\times$} visual token compression ratio and only occupies about \textbf{82 MB} storage. \textbf{Our code} is given in \href{https://github.com/hktk07/CausalMem}{CausalMem}.
• Abstract（参考訳）: 現在、ストリーミングビデオ理解は、既存の 'emph{multimodal large language model} (MLLMs) にとって、依然として大変な作業である。 その難しさは、増え続けるビデオフレームの扱いだけでなく、将来のビデオコンテンツや入力命令の予測不可能さにも起因している。 本稿では,動的だが固定予算のメモリバンクの構築の観点から,この課題を考察し,新規かつトレーニング不要なアプローチである「emph{\textbf{CausalMem}}」を提案する。 CausalMemはダイナミックなビジュアルメモリ更新機構の構築に特化しており、それによって人間の脳と同じように、限られたメモリ空間内でのストリーミングビデオの情報量を最大化する。 実際にCausalMemは、視覚トークンの冗長性を推定し、観察されたビデオストリームの主セマンティクスをモデル化したオンラインセマンティクスベースを介してメモリバンクを更新する。 CausalMemを検証するために、LLaVA-OneVisionとQwen2.5-VLの2つの代表MLLMに適用し、ストリーミングとオフラインの両方のビデオ理解ベンチマークで広範な実験を行う。 実験結果は、ストリーミングとオフラインの両方の設定下で既存の方法よりも大きな利点を示すだけでなく、平均精度は$+3.2\%、平均精度は$+3.0\%、ストリーミングビデオの優れたセマンティックな保存方法である \emph{e g } を目撃し、12$k$のトークン予算を使って、時間長のストリーミングビデオを記憶し、これは \textbf{20$\times$} のビジュアルトークン圧縮比以上を達成し、Shatextbf{82 MB} ストレージを占有するのみである。 \textbf{Our code} は \href{https://github.com/hktk07/CausalMem}{CausalMem} で与えられる。

関連論文リスト

• Progressive Online Video Understanding with Evidence-Aligned Timing and Transparent Decisions [75.23170605943457]
  textbfmodelは、メモリ統合から推論制御を分離するフレームワークである。 emphActive Thinking Decision Maker (ATDM)は、決定プロセスの外部化を行う透明な推論コントローラである。 emphHierarchical Progressive Semantic Integration (HPSI)モジュールは効率的なメモリシステムとして機能する。
  論文  参考訳（メタデータ） (2026-04-20T16:15:33Z)
• Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism [82.67996027633986]
  EmphMultimodal Large Language Models(MLLM)の進歩に悩む長大なビデオ理解 本稿では, 視覚記憶機構の観点からこの問題を考察し, emphFlexible Memory (textbfFlexMem) と呼ばれる新しい, トレーニング不要な手法を提案する。 原則としてFlexMemは、ビデオ視聴の人間の振る舞いを模倣すること、すなわち、継続的にビデオコンテンツを見て、最も関連するメモリフラグメントをリコールして質問に答えることを目的としている。
  論文  参考訳（メタデータ） (2026-03-31T04:23:33Z)
• Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
  既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。 より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:50Z)
• HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding [92.59317281526239]
  HERMESは、ビデオストリームのリアルタイムかつ正確な理解のためのトレーニング不要アーキテクチャである。 HermesはコンパクトなKVキャッシュを再利用し、リソース制約下で効率的なストリーミング理解を可能にする。 Hermesはすべてのベンチマークで優れた精度または同等の精度を実現しており、ストリーミングデータセットでは最大11.4%向上している。
  論文  参考訳（メタデータ） (2026-01-21T07:26:15Z)
• video-SALMONN S: Streaming Audio-Visual LLMs Beyond Length Limits via Memory [51.03819128505358]
  Video-SALMONN Sは、まず1FPSと360p解像度で3時間ビデオを処理する。 テストタイムトレーニングメモリモジュールは、トークン表現を継続的に更新して、長距離依存関係をキャプチャする。 プロンプト依存メモリリーダは、固定サイズメモリからコンテキスト関連コンテンツを検索する。
  論文  参考訳（メタデータ） (2025-10-13T08:20:15Z)
• FastVID: Dynamic Density Pruning for Fast Video Large Language Models [38.267065642416554]
  我々は,FastVIDと呼ばれる高速ビデオLLMの密度決定法を提案する。 FastVIDは、ビデオを時間的に順序付けられたセグメントに分割して、時間構造を保存する。 本手法は時間的・視覚的整合性を維持しながら計算オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2025-03-14T08:33:08Z)
• VideoScan: Enabling Efficient Streaming Video Understanding via Frame-level Semantic Carriers [23.541896057977745]
  VideoScanは、リアルタイムビデオインタラクションのための効率的な視覚言語モデル(VLM)推論フレームワークである。 VideoScanでは、各フレームを表すために単一のセマンティックキャリアトークンを使用している。
  論文  参考訳（メタデータ） (2025-03-12T13:30:40Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。