Fugu-MT 論文翻訳(概要): Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding

論文の概要: Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding

arxiv url: http://arxiv.org/abs/2605.07897v1
Date: Fri, 08 May 2026 15:40:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-11 19:43:39.168893
Title: Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding
Title（参考訳）: 映像理解のためのセマンティック・アウェア適応型ビジュアルメモリ
Authors: Hang Wu, Sherin Mary Mathews, Yujun Cai, Ming-Hsuan Yang, Yiwei Wang,
Abstract要約: SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
参考スコア（独自算出の注目度）: 55.7992006853979
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Online streaming video understanding requires models to process continuous visual inputs and respond to user queries in real time, where the unbounded stream and unpredictable query timing turn memory management into a central challenge. Existing methods typically compress visual tokens via visual similarity heuristics, or augment compression with KV-cache-level retrieval. However, compression decisions rarely incorporate semantic signals, and retrieval is often added after compression is finalized, making the two stages hard to coordinate. We present SAVEMem, a training-free dual-stage framework that brings semantic awareness into memory generation and lets the retrieval scope adapt per query. In Stage~1, SAVEMem builds a three-tier streaming memory online under a constant memory budget. A fixed pseudo-question bank provides a lightweight semantic prior, so that long-term retention is shaped by semantic salience rather than visual similarity alone. In Stage~2, SAVEMem performs query-aware retrieval over this memory. An anchor-conditioned recency gate adapts the retrieval scope from short-term to mid- and long-term memory based on whether the query targets the present or the distant past. Within this scope, late interaction between query and memory tokens selects candidate frames for answering. Applied to Qwen2.5-VL without training, SAVEMem improves the OVO-Bench overall score from 52.27 to 62.69 and yields consistent gains on StreamingBench and ODV-Bench, while reducing peak GPU memory by 48\% at 128 frames over the backbone.
Abstract（参考訳）: オンラインストリーミングビデオ理解では、連続した視覚的な入力を処理し、ユーザクエリにリアルタイムで応答するモデルが必要である。既存の方法では、視覚的類似性ヒューリスティックによって視覚トークンを圧縮するか、KV-cacheレベルの検索で圧縮を拡大する。しかし、圧縮決定は意味的信号をほとんど含まないため、圧縮が終了すると検索がしばしば追加され、2段階の調整が困難になる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。ステージ~1では、SAVEMemは、一定のメモリ予算の下で3層ストリーミングメモリをオンラインで構築する。固定された疑似探究銀行は、視覚的類似性のみでなく、セマンティックサリエンスによって長期保持が形成されるように、軽量なセマンティック事前を提供する。ステージ~2では、SAVEMemはこのメモリ上でクエリ対応検索を行う。アンカー条件のレレンシゲートは、クエリが現在または遠い過去をターゲットとしているかに基づいて、検索範囲を短期記憶から中長期記憶に適応させる。このスコープ内では、クエリとメモリトークン間の遅延相互作用は、応答する候補フレームを選択する。トレーニングなしのQwen2.5-VLに適用すると、SAVEMemはOVO-Bench全体のスコアを52.27から62.69に改善し、StreamingBenchとODV-Benchで一貫したゲインを得ると同時に、バックボーン上の128フレームでピークのGPUメモリを48\%削減する。

関連論文リスト

MemMA: Coordinating the Memory Cycle through Multi-Agent Reasoning and In-Situ Self-Evolution [52.29303869050117]
メモリ拡張LDMエージェントは、長期の相互作用をサポートするために外部メモリバンクを保持する。 MemMAはプラグアンドプレイのマルチエージェントフレームワークで、前方と後方の両方の経路に沿ってメモリサイクルを調整する。
論文参考訳（メタデータ） (2026-03-19T10:15:59Z)
From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。 MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
論文参考訳（メタデータ） (2026-03-02T05:12:45Z)
Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
論文参考訳（メタデータ） (2026-02-20T18:59:50Z)
Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning [47.87361916374891]
本稿では,チャンクワイズ圧縮と選択的メモリリコールに基づく,効率的な長文推論のためのフレームワークを提案する。このフレームワークは、長い入力をチャンクに分割し、各チャンクを学習圧縮機を用いて圧縮されたメモリ表現に符号化する。ピークGPUメモリ使用量の最大2倍の削減と,MemAgent上での6倍の推論高速化を実現している。
論文参考訳（メタデータ） (2026-02-09T08:33:11Z)
Fast SAM2 with Text-Driven Token Pruning [52.8350457627401]
Segment Anything Model 2 (SAM2) では、視覚計算モデルがプロンプト駆動のビデオオブジェクトセグメンテーションにおいて大幅に進歩している。 SAM2パイプラインは、イメージエンコーダが生成するすべての視覚トークンを、ターゲットオブジェクトとの関係にかかわらず、下流の時間的推論モジュールを通じて伝達する。本稿では,時間的伝播に先立ってトークン密度を選択的に低減し,推論効率を向上させるためのテキスト誘導型トークンプルーニングフレームワークを提案する。
論文参考訳（メタデータ） (2025-12-24T18:59:05Z)
StreamMem: Query-Agnostic KV Cache Memory for Streaming Video Understanding [14.50396424661833]
StreamMemは、ストリーミングビデオ理解のためのクエリに依存しないKVキャッシュメモリメカニズムである。クエリ非依存のKVキャッシュ圧縮における最先端のパフォーマンスを実現し、クエリ対応圧縮アプローチと競合する。
論文参考訳（メタデータ） (2025-08-21T16:56:29Z)
ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
論文参考訳（メタデータ） (2024-11-23T13:23:22Z)
Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
論文参考訳（メタデータ） (2022-05-08T02:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。