論文の概要: MEMO: Multi-Level Entity-Aware Memory for Streaming Video Understanding

• arxiv url: http://arxiv.org/abs/2609.38900v1
• Date: Wed, 30 Sep 2026 03:47:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.149036
• Title: MEMO: Multi-Level Entity-Aware Memory for Streaming Video Understanding
• Title（参考訳）: MEMO: ビデオ理解のストリーミングのためのマルチレベルエンティティ・アウェアメモリ
• Abstract要約: ストリーミングビデオ理解は、広大な時間的地平線を越えてリッチな視覚的セマンティクスを保持しながら、境界のないビジュアルストリームを処理するモデルを必要とする。 MeMOは、マルチレベルのエンティティ対応構造化メモリを通じてストリーミングビデオをモデル化する新しいフレームワークである。 MeMOは一貫して複数のベースモデルを改善し、最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 25.334846327094453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Streaming video understanding requires models to process unbounded visual streams while preserving rich visual semantics across vast temporal horizons, posing a fundamental challenge for memory modeling. Existing approaches primarily focus on increasing memory capacity, either by compressing historical information into fixed-size representations or by extending storage beyond GPU memory. However, these methods largely rely on global or coarse-grained representations, inevitably losing fine-grained visual information. In this work, we argue that streaming video memory should explicitly encode structured and semantically meaningful representations, particularly at the entity level. To this end, we propose MEMO, a novel framework that models streaming video through multi-level, entity-aware structured memory. MEMO performs multi-level perception to jointly capture global semantics, entity dynamics, and spatial structures, partitioning streaming video into semantically coherent chunks. Each chunk is organized into a structured memory, where lightweight global and entity-level representations serve as retrieval indices, while the corresponding high-resolution visual content is retained separately for on-demand access. At inference time, MEMO performs query-specific retrieval over the structured memory and selectively recalls relevant visual evidence for downstream reasoning. Notably, MEMO is training-free and plug-and-play with existing multimodal large language models. Extensive experiments on StreamingBench and OVO-Bench demonstrate that MEMO consistently improves multiple base models and achieves state-of-the-art performance.
• Abstract（参考訳）: ストリーミングビデオ理解は、広大な時間的地平線を越えてリッチな視覚的セマンティクスを保持しながら、境界のないビジュアルストリームを処理するモデルを必要とする。 既存のアプローチは主に、履歴情報を固定サイズの表現に圧縮するか、またはGPUメモリを超えてストレージを拡張することによって、メモリ容量の増加に重点を置いている。 しかし、これらの手法は主に大域的あるいは粗粒度の表現に依存しており、必然的に細粒度の視覚情報を失う。 本研究では,特にエンティティレベルでは,ストリーミングビデオメモリは構造的,意味的に意味のある表現を明示的にエンコードすべきである,と論じる。 そこで本研究では,マルチレベル・エンティティ対応構造化メモリによるストリーミング映像のモデリングを行うMEMOを提案する。 MEMOは、グローバルなセマンティクス、エンティティのダイナミクス、空間構造を共同で捉え、ストリーミングビデオをセマンティクス的に一貫性のあるチャンクに分割する。 各チャンクは構造化メモリに編成され、軽量なグローバルおよびエンティティレベルの表現が検索インデックスとして機能し、対応する高解像度のビジュアルコンテンツはオンデマンドアクセスのために別々に保持される。 推測時には、MEMOは構造化メモリ上でクエリ固有の検索を行い、下流の推論に関する関連する視覚的証拠を選択的にリコールする。 特に、MEMOはトレーニングフリーで、既存のマルチモーダルな大規模言語モデルとプラグイン・アンド・プレイできる。 StreamingBenchとOVO-Benchの大規模な実験は、MEMOが一貫して複数のベースモデルを改善し、最先端のパフォーマンスを達成することを示した。

関連論文リスト

• MemEvo: Automatic Discovery of Streaming Video Memory Mechanisms [9.703594445570292]
  ストリーミングビデオ理解は、将来のクエリが知られる前に、無限に成長するビジュアルストリームを境界メモリに圧縮する視覚言語モデルを必要とする。 実行可能メモリプログラムに対する探索問題としてメモリ設計を定式化する。 本稿では,構造化プリミティブによるメモリ機構を表現する軽量なドメイン固有言語を提案する。
  論文  参考訳（メタデータ） (2026-09-29T02:59:42Z)
• Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
  latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。 LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2026-09-03T17:28:14Z)
• StreamFlow: Dynamic Memory Flows for Streaming Video Understanding [65.10324190760602]
  StreamFlowは、歴史的視覚情報への動的なオンデマンドアクセスを可能にする効率的なビジュアルメモリフレームワークである。 最先端のストリーミングビデオ理解性能を達成し、StreamingBenchの全体的な精度は67.73%に達した。 バニラ設定とは対照的に、視覚的注意スコア(VAS)を59.1%改善し、それぞれエンドツーエンドのレイテンシとピークメモリを50.4%、21.1%削減した。
  論文  参考訳（メタデータ） (2026-08-11T14:19:03Z)
• ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding [50.17161313335395]
  ObjectStreamはトレーニング不要のフレームワークで、ストリーミングビデオ理解のためのメモリアンカーとして潜在オブジェクトを扱う。 それは3つの補完的な証拠を保存している: 永続的なオブジェクト履歴、過渡的なオブジェクト変更、そして最近の視覚的コンテキストである。 オンラインストリーミングとオフラインの長時間ビデオベンチマークの実験は、有効性と効率の両方を示している。
  論文  参考訳（メタデータ） (2026-07-30T14:47:00Z)
• From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
  本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。 MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。 実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
  論文  参考訳（メタデータ） (2026-03-02T05:12:45Z)
• See More, Store Less: Memory-Efficient Resolution for Video Moment Retrieval [5.835635134105812]
  本稿では,高情報解像度を維持しながらメモリ効率を向上させるフレームワークであるSMORE(See MORE, store less)を提案する。 SMORE (1) は,ユーザ意図に沿ったセマンティクスを符号化するためにクエリ誘導キャプションを使用し,(2) 関連するセグメントをハイライトするためにクエリ認識の重要度変調を適用し,(3) キーコンテンツを保存するためにフレームを適応的に圧縮する。 実験的検証により、SMOREはQVHighlights、Charades-STA、ActivityNet-Captionsベンチマークで最先端のパフォーマンスを達成することが明らかになった。
  論文  参考訳（メタデータ） (2026-01-14T10:28:11Z)
• WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
  我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。 WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-12-02T05:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。