論文の概要: Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding

• arxiv url: http://arxiv.org/abs/2609.04131v1
• Date: Thu, 03 Sep 2026 17:28:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.186331
• Title: Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding
• Title（参考訳）: Beyond Retrieval: ストリーミングビデオ理解のためのプログレッシブ遅延メモリ進化
• Abstract要約: latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。 LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
• 参考スコア（独自算出の注目度）: 64.34948094316685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Streaming video understanding requires multimodal large language models (MLLMs) to process continuous visual inputs and respond to user queries under strict causality and bounded memory. Existing approaches typically compress historical observations into an external memory bank and retrieve query-relevant evidence as additional visual context. Though effective, this store-and-retrieve paradigm keeps historical evidence as external visual context, preventing it from being internalized into a compact, evolving latent memory that can continuously guide streaming reasoning. To bridge this gap, we introduce LatentStream, a progressive latent working memory framework that shifts streaming memory from store-and-retrieve to retrieve-and-internalize. Specifically, LatentStream comprises three coordinated components. First, Query-agnostic Hierarchical Streaming Memory organizes visual history into short-, mid-, and long-term levels under a fixed memory budget through Jenks-guided adaptive consolidation. Once a query arrives, Hierarchical Latent Memory Evolution equips groups of latent memory tokens with progressively expanding memory receptive fields, enabling them to iteratively retrieve historical evidence from their corresponding scopes and internalize it into a compact, fixed-length latent memory. Finally, Progressive Confidence-guided Latent Memory Optimization constructs a hierarchical progression reward from group-wise predictive entropy and jointly refines the latent memory tokens and retrieved evidence, encouraging increasingly confident streaming reasoning. Extensive experiments demonstrate that LatentStream achieves new state-of-the-art results on existing online and offline video benchmarks.
• Abstract（参考訳）: ストリーミングビデオ理解は、連続的な視覚的な入力を処理し、厳密な因果性と境界メモリの下でユーザクエリに応答するために、マルチモーダルな大言語モデル(MLLM)を必要とする。 既存のアプローチは通常、過去の観測結果を外部メモリバンクに圧縮し、クエリ関連エビデンスを追加の視覚的コンテキストとして取得する。 有効ではあるが、このストア・アンド・リトリーブのパラダイムは、歴史的証拠を外部の視覚的コンテキストとして保持し、ストリーミング推論を継続的に導くことができるコンパクトで進化した潜在メモリに内部化されることを防ぐ。 このギャップを埋めるために、私たちは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、進歩的な潜在ワーキングメモリフレームワークであるLatentStreamを紹介します。 具体的には、LatentStreamは3つの調整済みコンポーネントから構成される。 第一に、クエリ非依存の階層的ストリーミングメモリは、Jenks誘導適応統合を通じて、ビジュアル履歴を固定メモリ予算の下、短期、中期、長期のレベルに整理する。 クエリが到着すると、階層的ラテントメモリ進化(Hierarchical Latent Memory Evolution)は、遅延メモリトークンのグループに徐々に拡張されたメモリ受容フィールドを装備し、対応するスコープから履歴証拠を反復的に回収し、コンパクトで固定長のラテントメモリに内部化する。 最後に、Progressive Confidence-Guided Latent Memory Optimizationは、グループワイド予測エントロピーからの階層的進行報酬を構築し、潜在メモリトークンとエビデンスを共同で洗練し、より確実なストリーミング推論を促進する。 大規模な実験では、LatentStreamが既存のオンラインおよびオフラインビデオベンチマークで、最先端の結果を新たに達成している。

関連論文リスト

• StreamFlow: Dynamic Memory Flows for Streaming Video Understanding [65.10324190760602]
  StreamFlowは、歴史的視覚情報への動的なオンデマンドアクセスを可能にする効率的なビジュアルメモリフレームワークである。 最先端のストリーミングビデオ理解性能を達成し、StreamingBenchの全体的な精度は67.73%に達した。 バニラ設定とは対照的に、視覚的注意スコア(VAS)を59.1%改善し、それぞれエンドツーエンドのレイテンシとピークメモリを50.4%、21.1%削減した。
  論文  参考訳（メタデータ） (2026-08-11T14:19:03Z)
• FOLIO: Focused Semantic Memory for Streaming Video Understanding [7.067883491096352]
  オンラインのストリーミングビデオ理解では、ビデオストリームが到着し続け、いつでもクエリが発行される可能性がある。 この履歴がストリームとともに増加するにつれて、メモリコストが増加し、多くの冗長な視覚的詳細が保持される。 トレーニング不要なセマンティックメモリシステムであるFOLIOを導入し、ストリームの重要な部分をより詳細に記録する。
  論文  参考訳（メタデータ） (2026-07-14T22:09:48Z)
• What Should a Streaming Video Model Remember? [28.189301152079214]
  ストリーミングビデオ理解モデルは、現在進行中のストリームの間、常にクエリに答えなければならない。 提案するTextbfSelectStreamは,クエリ条件のコンパクトなエビデンス予算を通じてのみ履歴情報を公開しながら,現在の観測結果を凍結したVLMに直接可視的に保持する,選択的潜在メモリフレームワークである。 実験の結果、SelectStreamは強力なオンラインストリーミング性能を示し、一般的なビデオ理解を保ち、StreamingBenchでは82.67%、OVO-Benchでは67.03%、オフラインビデオベンチマークでは74.4%に達した。
  論文  参考訳（メタデータ） (2026-06-15T07:50:19Z)
• REAL: A Reasoning-Enhanced Graph Framework for Long-Term Memory Management of LLMs [17.526686616588794]
  大きな言語モデル(LLM)は、長い時間をかけてユーザーと対話することがますます期待されている。 LLMは過去のすべてのインタラクションを保持することができず、履歴情報の保存、更新、検索には長期記憶管理が不可欠である。 REALは長期会話記憶を時間的かつ信頼性に配慮したプロパティグラフとして構成する。
  論文  参考訳（メタデータ） (2026-06-09T10:53:10Z)
• Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents [51.30250860677378]
  本稿では,連想記憶グラフとアクティブな再構成機構を組み合わせたフレームワークであるMRAgentを提案する。 Cue-Tag-Contentグラフ上で実行することで,メモリアクセスに直接推論を統合する。 LoCoMoベンチマークとLongMemEvalベンチマークの実験は、強いベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-06-04T11:29:46Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• MemMA: Coordinating the Memory Cycle through Multi-Agent Reasoning and In-Situ Self-Evolution [52.29303869050117]
  メモリ拡張LDMエージェントは、長期の相互作用をサポートするために外部メモリバンクを保持する。 MemMAはプラグアンドプレイのマルチエージェントフレームワークで、前方と後方の両方の経路に沿ってメモリサイクルを調整する。
  論文  参考訳（メタデータ） (2026-03-19T10:15:59Z)
• From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
  本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。 MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。 実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
  論文  参考訳（メタデータ） (2026-03-02T05:12:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。