論文の概要: VideoMemBench: How Well Do MLLMs Remember in Video Conversations?

• arxiv url: http://arxiv.org/abs/2610.40131v3
• Date: Tue, 03 Nov 2026 14:34:07 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:53:21.711899
• Title: VideoMemBench: How Well Do MLLMs Remember in Video Conversations?
• Title（参考訳）: VideoMemBench:MLLMsはビデオ会話をよく覚えていますか?
• Abstract要約: MLLM(Multimodal large language model)は、1時間ビデオの処理が可能であり、単一のビデオ上で拡張されたマルチターン対話を自然な使用形態とする。 ビデオMemBenchでは、各サンプルが1つのビデオと長いマルチターン対話をペアリングし、そのターンはクロスターン依存によって接続される。 VideoMemBenchは2,476回転の326本のビデオで構成されており、そのうち1,387本は従来からの回転に依存している。
• 参考スコア（独自算出の注目度）: 32.830504815538674
• License:
• Abstract: Multimodal large language models (MLLMs) can now process hour-long videos, making extended multi-turn dialogue over a single video a natural mode of use. Sustaining such a dialogue requires more than answering each question in isolation: the model must retrieve and reuse information established earlier in the conversation, both what it has seen and what it has said, an ability we term in-context video memory. Existing video QA benchmarks leave this ability unmeasured: their questions are mutually independent, never reference one another, and each is answerable from the video alone, so nothing ever requires carrying information across turns. We introduce VideoMemBench, in which each sample pairs a single video with a long multi-turn dialogue, whose turns are connected by typed cross-turn dependencies: an Episodic Dependency refers back to a visual episode described in an earlier turn, probing memory of what the model has seen, while an Answer Dependency builds on the model's own earlier answer, probing memory of what the model has said. Every dependency is verified considering two properties: 1) necessity, meaning the question cannot be answered without its earlier turns, and 2) non-leakage, meaning the question does not restate the information from its earlier turns. To enforce these properties, we design a construction pipeline with three LLM roles: a planner, a generator, and a judger, with each dialogue reviewed by human experts. VideoMemBench comprises 326 videos with 2,476 turns, of which 1,387 depend on earlier turns, including multi-parent dependencies and long-range call-back. Among over 20 evaluated open- and closed-source MLLMs, Claude Opus 5 performs the best with an overall score of only 45.7%, highlighting the challenge of in-context video memory. Our dataset and evaluation are released.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、1時間ビデオの処理が可能になった。 モデルは、会話の初期に確立された情報、何を見たか、何と言ったかを検索し、再利用する必要がある。 既存のビデオQAベンチマークでは、これらの質問は相互に独立していて、互いに参照せず、それぞれがビデオ単独で応答可能であるため、ターンにまたがる情報を運ぶ必要はない。 ビデオMemBenchでは,各サンプルが1つのビデオと長いマルチターン対話をペアリングし,ターンが型付き相互依存によって接続される。エピソディック依存は,先行するターンで記述された視覚的エピソードを参照し,モデルが何を見たかを示す一方で,Answer Dependencyはモデル自身の以前の回答に基づいて構築し,モデルが言ったことを記憶する。 すべての依存関係は2つの特性を考慮して検証される。 1) 必要,すなわち,質問が前の順番なしでは答えられないこと, 2)非漏えいとは、前の回からの情報を再送しないことを意味する。 これらの特性を強制するために、我々は、プランナー、ジェネレータ、審査員の3つのLLMの役割を持つ建設パイプラインを設計し、それぞれの対話を人間の専門家によってレビューする。 VideoMemBenchは2,476回転の326本のビデオで構成されており、そのうち1,387本は従来からの回転に依存している。 20以上の評価されたオープンソースおよびクローズドソースMLLMのうち、Claude Opus 5は45.7%のスコアでベストを尽くし、コンテキスト内ビデオメモリの課題を浮き彫りにした。 データセットと評価がリリースされます。

関連論文リスト

• VideoJev: System One Model for Video Understanding and Interaction [57.01937499930451]
  ビデオ理解とインタラクションを構造化決定タスクとして提供するモデル群であるVideoJevを紹介した。 ビデオ証拠に対する時間間隔とテキストオプションをスコアする共有ヘッドに自己回帰型回答復号を置き換えることで,事前学習型マルチモーダル大言語モデル(MLLM)を適応する。 3つの時間的グラウンドベンチマークで、VideoJev-4BとVideoJev-35B-A3Bはそれぞれ平均mIoUを6.7ポイント、10.8ポイント改善し、推論速度は2.8$-$3.1times$である。
  論文  参考訳（メタデータ） (2026-10-13T16:00:41Z)
• Lost in Time: A New Temporal Benchmark for VideoLLMs [48.71203934876828]
  現在最も使われているビデオ言語ベンチマークは、時間的推論を必要とせずに解決可能であることを示す。 提案するTVBenchは,オープンソースのマルチ選択質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-10-10T09:28:36Z)
• Hallucination Mitigation Prompts Long-term Video Understanding [36.26790392889717]
  本稿では,既存のMLLMをベースとした包括的幻覚緩和パイプラインを構築する。 私たちは、CLIPスコアを使用して、フレームサンプリングプロセスを質問でガイドし、質問に関連する重要なフレームを選択する。 回答生成段階では、チェーン・オブ・コンテクストとイン・コンテクスト・ラーニングの手法を用いて、回答の生成を明示的に制御する。
  論文  参考訳（メタデータ） (2024-06-17T08:44:03Z)
• LvBench: A Benchmark for Long-form Video Understanding with Versatile Multi-modal Question Answering [49.68215536040896]
  LvBenchは多目的なマルチモーダル質問応答のための長文ビデオ理解ベンチマークである。 ビデオは70秒から4時間で、シングルシーン、マルチシーン、フルシーンのコンテキストをカバーしています。 本データセットは、慎重に選択された100本の映画から得られた20,061組の質問応答対からなる。
  論文  参考訳（メタデータ） (2023-12-08T03:33:38Z)
• Video Question Answering with Iterative Video-Text Co-Tokenization [77.66445727743508]
  本稿では,ビデオ質問応答のための新しいマルチストリームビデオエンコーダを提案する。 実験により,MSRVTT-QA,MSVD-QA,IVQAなどの複数のデータセットでモデルを評価する。 本稿では,必要なGFLOPを150-360から67に削減し,高効率なビデオ質問応答モデルを構築した。
  論文  参考訳（メタデータ） (2022-08-01T15:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。