論文の概要: StreamEMS: Streaming Video Understanding with Self-Evolving Memory Scheme for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.27881v1
• Date: Fri, 28 Aug 2026 03:41:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.194899
• Title: StreamEMS: Streaming Video Understanding with Self-Evolving Memory Scheme for Vision-Language Models
• Title（参考訳）: StreamEMS:視覚言語モデルのための自己進化型メモリスキームによるビデオ理解
• Abstract要約: 本稿では,記憶に格納された履歴データを再構成することで,ストリーミングビデオ理解を改善するための一般的なメカニズムであるStreamEMSを提案する。 まずセマンティック・エボリューション・モジュールを導入し、メモリをより情報密度の表現に進化させる。 さらに、メモリをより堅牢な表現に進化させるために、事前インフォームド・エボリューション・モジュールを導入します。
• 参考スコア（独自算出の注目度）: 14.764143801328759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, many streaming video understanding methods have been proposed by constructing an external memory to store historical data for computational reduction. Most methods focus on optimizing the injection procedure of current data (write) and retrieving informative historical data (read) from memory, while overlooking the opportunity to further enhancing the representational capability of memory itself. In this work, we present StreamEMS, a general mechanism for improving streaming video understanding by re-structuring the historical data stored in memory through self-evolving memory scheme, enabling more informative and robust memory representations. Specifically, we first introduce a Semantic Evolution Module to evolve the memory into more information-dense representations by exploiting informative memory entities discovered via progressively shrinking semantic scales from coarse to fine. In addition, we further introduce a Prior-informed Evolution Module to evolve memory into more robust representations by leveraging prior memory distributions to refine the current memory state. We validate the effectiveness of our proposed designs on widely-used streaming video understanding datasets, i.e., OVO-Bench and StreamingBench, and the results showcase that our method performs better than other methods. Moreover, the advantage of our method becomes consistently evident even under high token usage drop rate settings, indicating the effectiveness and robustness of our method in unleashing the potential of the memory itself.
• Abstract（参考訳）: 近年,計算量削減のための履歴データを格納するための外部メモリを構築することで,多くのストリーミングビデオ理解手法が提案されている。 ほとんどの方法は、現在のデータ(書き込み)の注入手順の最適化と、情報的履歴データ(読み取り)をメモリから取り出すことに集中し、メモリ自体の表現能力をさらに強化する機会を見越す。 本稿では,自己進化型メモリ方式により記憶に蓄積された履歴データを再構成し,より情報的かつ堅牢なメモリ表現を可能にすることで,ストリーミング映像理解を改善するための一般的なメカニズムであるStreamEMSを提案する。 具体的には,セマンティック・エボリューション・モジュール(Semantic Evolution Module)を導入し,セマンティック・エボリューション・モジュール(セマンティック・エボリューション・モジュール)を用いて,セマンティック・エボリューション・モジュール(セマンティック・エボリューション・モジュール)を用いて,インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォ さらに、メモリをより堅牢な表現に進化させるために、メモリの分布を利用して現在のメモリ状態を洗練させるプリエントインフォームド・エボリューション・モジュールも導入する。 提案手法はOVO-BenchやStreamingBenchなど,広範に使用されているストリーミングビデオ理解データセットにおいて,提案手法の有効性を検証し,本手法が他の手法よりも優れていることを示す。 さらに,トークン使用量減少率の設定下であっても,本手法の利点は一貫して明らかとなり,メモリ自体のポテンシャルを解放する上で,本手法の有効性とロバスト性を示す。

関連論文リスト

• Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
  latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。 LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2026-09-03T17:28:14Z)
• Metis: Memory Foundation Model [96.59067961902532]
  メモリ基盤モデルを導入し,基礎モデルにネイティブメモリ機能を持たせる。 ネイティブメモリはアーキテクチャ、エンドツーエンドの最適化、効率性に利点があることを示す。 メモリ基盤モデルの最初のプロトタイプであるMetisを紹介します。
  論文  参考訳（メタデータ） (2026-07-29T10:58:44Z)
• Mechanistic Attention Guidance for Agent Memory Refinement [32.57216046158823]
  検索ヘッドアテンションは,セグメントレベルのメモリ使用量を明らかにするためのメカニスティック信号を提供する。 本稿では,注意による利用パターンを用いてセグメントレベルのメモリ更新を誘導するフレームワークであるAttention-Guided Memory Refinement (AGMR)を提案する。
  論文  参考訳（メタデータ） (2026-07-20T07:17:50Z)
• From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
  本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。 MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。 実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
  論文  参考訳（メタデータ） (2026-03-02T05:12:45Z)
• Graph-based Agent Memory: Taxonomy, Techniques, and Applications [63.70340159016138]
  メモリはLarge Language Model(LLM)ベースのエージェントの中核モジュールとして出現する。 さまざまなパラダイムの中でグラフは、関係依存をモデル化する本質的な能力のため、エージェントメモリの強力な構造として際立っている。 本調査では, エージェントメモリの総合的な検討について, グラフベースの観点から述べる。
  論文  参考訳（メタデータ） (2026-02-05T13:49:05Z)
• Memory-Efficient Continual Learning Object Segmentation for Long Video [7.9190306016374485]
  本稿では,オンラインVOS手法のメモリ要求を低減し,長ビデオのモデリング精度と一般化を向上する2つの新しい手法を提案する。 事前学習した知識を保存するための継続的学習技術の成功に動機づけられた、Gated-Regularizer Continual Learning (GRCL)とRestruction-based Memory Selection Continual Learning (RMSCL)を提案する。 実験結果から,提案手法はオンラインVOSモデルの性能を8%以上向上し,長期画像データセットのロバスト性の向上を図っている。
  論文  参考訳（メタデータ） (2023-09-26T21:22:03Z)
• Improving Task-free Continual Learning by Distributionally Robust Memory Evolution [9.345559196495746]
  タスクフリー連続学習は、明示的なタスク定義なしで非定常データストリームを学習し、以前の知識を忘れないことを目的としている。 既存の手法は、メモリデータ分布における高い不確実性を見落としている。 本稿では,メモリデータ分散を動的に進化させるためのメモリ進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-15T02:16:09Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。