論文の概要: MemoryCard: Topic-Aware Multi-Modal Clue Compression for Long-Video Question Answering

• arxiv url: http://arxiv.org/abs/2606.05917v1
• Date: Thu, 04 Jun 2026 09:23:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.687424
• Title: MemoryCard: Topic-Aware Multi-Modal Clue Compression for Long-Video Question Answering
• Title（参考訳）: MemoryCard:長時間ビデオ質問応答のためのトピック対応マルチモーダルクローズ圧縮
• Authors: Qing Yang, Pengcheng Huang, Xinze Li, Zhenghao Liu, Yukun Yan, Yu Gu, Ge Yu, Gang Li, Maosong Sun,
• Abstract要約: MemoryCardは長いビデオを自己完結型メモリカードに整理する。 その結果、MemoryCardは、同等の視覚的な予算の下で、長時間ビデオのQAパフォーマンスを継続的に改善することを示した。
• 参考スコア（独自算出の注目度）: 54.54526361917178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-video question answering remains challenging for Vision-Language Models (VLMs), as answer-relevant evidence is often sparse, transient, and temporally dispersed across lengthy video contexts. Existing frame-centric approaches improve efficiency through uniform sampling, query-aware frame selection, visual-token compression, and adaptive resolution strategies. However, they still rely on isolated and fragmented frames as the fundamental evidence units, limiting VLMs' ability to effectively capture coherent event-level semantics. To address this limitation, we propose MemoryCard, a video-memory-based augmentation framework that organizes long videos into self-contained Memory Cards. Specifically, MemoryCard first performs a self-reading process over videos and aligned utterances to segment the video into semantically coherent units, each corresponding to a distinct topic or event. For each unit, it generates an event-level video gist and selects representative visual moments, which are then rendered into unified Memory Cards for retrieval and question answering. Experimental results demonstrate that MemoryCard consistently improves long-video QA performance under comparable visual-token budgets, achieving up to a 21.8% relative improvement in accuracy. All code is available at https://github.com/NEUIR/MemoryCard.
• Abstract（参考訳）: VLM(Vision-Language Models)では、長いビデオコンテキストにまたがって、答えに関連する証拠が希少で、過渡的で、時間的に分散しているため、長いビデオ質問応答は依然として困難である。 既存のフレーム中心のアプローチは、一様サンプリング、クエリ対応フレーム選択、視覚的トーケン圧縮、適応的な解決戦略によって効率を向上する。 しかしながら、基本的なエビデンス単位として分離された断片化されたフレームに依存しており、VLMが一貫性のあるイベントレベルのセマンティクスを効果的に捉える能力を制限する。 この制限に対処するために、長いビデオを自己完結型メモリカードに整理するビデオメモリベースの拡張フレームワークであるMemoryCardを提案する。 具体的には、MemoryCardはまず、ビデオ上の自己読出プロセスを実行し、ビデオのセグメンテーションをセグメンテーション的に一貫性のあるユニットに分割し、それぞれ別個のトピックやイベントに対応する。 各ユニットに対して、イベントレベルのビデオギストを生成し、代表的な視覚モーメントを選択し、その後、検索と質問応答のために統一されたメモリカードに描画する。 実験の結果、MemoryCardは、同等の視覚障害者予算下での長時間ビデオQAパフォーマンスを一貫して改善し、21.8%の精度向上を実現している。 すべてのコードはhttps://github.com/NEUIR/MemoryCardで入手できる。

関連論文リスト

• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• Memory-V2V: Augmenting Video-to-Video Diffusion Models with Memory [63.32726513381937]
  現在のビデオエディタは、シーケンシャルな編集の相互一貫性を維持するのに苦労している。 Memory-V2Vは、既存のビデオ間モデルを明示的なメモリで拡張するフレームワークである。 メモリ-V2Vは、計算オーバーヘッドを最小限に抑えながら、はるかに相反するビデオを生成する。
  論文  参考訳（メタデータ） (2026-01-22T19:59:17Z)
• See More, Store Less: Memory-Efficient Resolution for Video Moment Retrieval [5.835635134105812]
  本稿では,高情報解像度を維持しながらメモリ効率を向上させるフレームワークであるSMORE(See MORE, store less)を提案する。 SMORE (1) は,ユーザ意図に沿ったセマンティクスを符号化するためにクエリ誘導キャプションを使用し,(2) 関連するセグメントをハイライトするためにクエリ認識の重要度変調を適用し,(3) キーコンテンツを保存するためにフレームを適応的に圧縮する。 実験的検証により、SMOREはQVHighlights、Charades-STA、ActivityNet-Captionsベンチマークで最先端のパフォーマンスを達成することが明らかになった。
  論文  参考訳（メタデータ） (2026-01-14T10:28:11Z)
• WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
  我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。 WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-12-02T05:14:52Z)
• video-SALMONN S: Streaming Audio-Visual LLMs Beyond Length Limits via Memory [51.03819128505358]
  Video-SALMONN Sは、まず1FPSと360p解像度で3時間ビデオを処理する。 テストタイムトレーニングメモリモジュールは、トークン表現を継続的に更新して、長距離依存関係をキャプチャする。 プロンプト依存メモリリーダは、固定サイズメモリからコンテキスト関連コンテンツを検索する。
  論文  参考訳（メタデータ） (2025-10-13T08:20:15Z)
• Streaming Long Video Understanding with Large Language Models [83.11094441893435]
  VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。 一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。 提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
  論文  参考訳（メタデータ） (2024-05-25T02:22:09Z)
• READMem: Robust Embedding Association for a Diverse Memory in Unconstrained Video Object Segmentation [24.813416082160224]
  制約のないビデオを扱うためのsVOSメソッドのためのモジュラーフレームワークであるREADMemを提示する。 本稿では、メモリに格納された埋め込みと、更新プロセス中にクエリ埋め込みとを堅牢に関連付けることを提案する。 提案手法は,LV(Long-time Video dataset)において,短いシーケンスのパフォーマンスを損なうことなく,競合する結果を得る。
  論文  参考訳（メタデータ） (2023-05-22T08:31:16Z)
• Learning Quality-aware Dynamic Memory for Video Object Segmentation [32.06309833058726]
  本稿では,各フレームのセグメンテーション品質を評価するために,QDMN(Quality-Aware Dynamic Memory Network)を提案する。 我々のQDMNは、DAVISとYouTube-VOSベンチマークの両方で最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-07-16T12:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。