論文の概要: CineMME: From Dialogue Grounding to Narrative Reasoning in Multimodal Video Understanding
- arxiv url: http://arxiv.org/abs/2611.15161v1
- Date: Wed, 11 Nov 2026 07:58:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.079486
- Title: CineMME: From Dialogue Grounding to Narrative Reasoning in Multimodal Video Understanding
- Title(参考訳): CineMME:マルチモーダルビデオ理解における対話グラウンディングからナラティブ推論へ
- Abstract要約: 対話型プロット理解の診断のためのベンチマークである textbfCineMME を導入する。
CineMMEには975ドルのキュレートされた短編ビデオクリップと2つのリンクトラックが含まれている。
主な評価は、推論で20ドル、グラウンドで9ドルというオムニモーダルモデルの比較である。
- 参考スコア(独自算出の注目度): 58.39299810041036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Narrative video understanding requires more than recognizing visible events: models must extract evidence from dialogue, bind it to speakers, and use it to infer narrative meaning. Existing video benchmarks evaluate aspects of this problem, including video question answering, audio-visual reasoning, and temporal grounding, but rarely test whether these abilities form a coherent dialogue-to-plot evidence chain within the same clips. We introduce \textbf{CineMME}, a human-verified benchmark designed to diagnose dialogue-grounded plot understanding, supported by approximately $1,600$ expert person-hours of annotation. CineMME contains $975$ curated short narrative video clips and two linked tracks: \textit{CineMME-Grounding}, with $13,554$ timestamped speech segments and $33,083$ speaker face boxes for temporal dialogue localization, transcription, and active-speaker grounding; and \textit{CineMME-Reasoning}, with $1,600$ multiple-choice and $316$ open-ended questions spanning perception, audio, narrative, social, and scene-presentation understanding. Our main evaluation compares $20$ MLLMs on reasoning and $9$ omni-modal models on grounding. The results reveal a pronounced who-what-when decoupling: Gemini-3 Pro localizes dialogue in time ($68.34\%$ tIoU) and transcribes it with a WER of $28.99\%$, yet achieves only $7.74\%$ vIoU for active-speaker grounding while achieving $67.66\%$ MCQ accuracy on questions with extractable answers. Modality ablations further show that vision is not uniformly beneficial: it improves performance on perception-heavy questions but can hurt dialogue-centric reasoning. CineMME provides a compact diagnostic testbed for evaluating how multimodal video models connect dialogue, speakers, visual evidence, and narrative meaning.
- Abstract(参考訳): モデルは対話から証拠を抽出し、それを話者に結び付け、物語の意味を推測するためにそれを使う必要がある。
既存のビデオベンチマークでは、ビデオ質問応答、音声-視覚的推論、時間的根拠など、この問題の側面を評価するが、これらの能力が同一クリップ内で一貫性のある対話とプロットのエビデンスチェーンを形成するかどうかを検査することは滅多にない。
我々は,対話型プロット理解の診断を目的として,約1,600ドルの専門的個人時間で支援された人間検証ベンチマークである「textbf{CineMME}」を紹介した。
CineMMEには975ドルのキュレートされた短編ビデオクリップと2つのリンクトラックが含まれている: \textit{CineMME-Grounding}、13,554ドルのタイムスタンプ付き音声セグメント、33,083ドルのスピーカーフェイスボックス、時間的対話のローカライゼーション、書き起こし、アクティブなスピーカーグラウンド、および \textit{CineMME-Reasoning}、認識、音声、物語、社会、シーンの表現を対象とする16ドルのオープンエンドエンド質問。
主な評価は、推論で20ドル、グラウンドで9ドルというオムニモーダルモデルの比較である。
Gemini-3 Proは、時間で対話をローカライズし(68.34\%$ tIoU)、28.99\%$のWERで書き起こすが、アクティブスピーカーのグラウンドリングでは7.74\%$ vIoUしか得られない。
モダリティ・アブレーションは、視覚が一様に有用でないことを示す: 知覚に富んだ質問のパフォーマンスを改善するが、対話中心の推論を損なう可能性がある。
CineMMEは、マルチモーダルビデオモデルが対話、話者、視覚的エビデンス、物語の意味をどのように結び付けるかを評価するための、コンパクトな診断テストベッドを提供する。
関連論文リスト
- Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence [33.92034255598876]
視覚応答を生成するオムニモード対話フレームワークである textbfEx-Omni-2D を導入する。
このモデルは、シーン、感情、動きを記述した構造化されたtextitVisual Thought Plan (VTP) を予測し、その後に応答テキストとネイティブなマルチコードブック音声ユニットが続く。
論文 参考訳(メタデータ) (2026-08-11T09:37:11Z) - Context-Aware Multimodal Claim Verification in Spoken Dialogues [12.111195479896557]
Spoken misinformationは会話を通じて構築され、信頼度はクレームのフレーム化、強化、左のアングルングの仕方から生まれる。
我々は,3,368件のチェック価値のあるクレームと約10時間の音声を含む1,000の2話者対話を含む音声クレーム検証のための新しいベンチマークMAD2を紹介する。
以前のコンテキストのみを使用すると、オフラインのパフォーマンスにマッチし、ライブモデレーション設定をサポートし、オーディオは、追加のコンテキストによって書き起こしベースのモデルが不安定になったときに、ほとんど寄与する。
論文 参考訳(メタデータ) (2026-06-09T20:13:37Z) - Cinéaste: A Fine-grained Contextual Movie Question Answering Benchmark [47.482960367243756]
長文映画理解のための総合ベンチマークである$mathsfCinacuteeaste$を紹介した。
我々のデータセットは、200本の映画にまたがる1,805のシーンから抽出された3,119の質問応答対からなる。
実験の結果,既存のMLLMは$mathsfCinacuteeaste$に苦しむことが明らかとなった。
論文 参考訳(メタデータ) (2025-09-17T17:58:06Z) - DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling [73.08187964426823]
大規模言語モデル (LLM) によって実現された対話システムは、人間と機械の相互作用において中心的なモードの1つとなっている。
本稿では,新しい研究課題--$textbfD$ialogue $textbfE$lement $textbfMO$delingを紹介する。
本稿では,包括的対話モデリングと評価のために設計された新しいベンチマークである$textbfDEMO$を提案する。
論文 参考訳(メタデータ) (2024-12-06T10:01:38Z) - $C^3$: Compositional Counterfactual Contrastive Learning for
Video-grounded Dialogues [97.25466640240619]
映像対話システムの目的は、映像理解と対話理解を統合し、対話と映像コンテキストの両方に関連する応答を生成することである。
既存のアプローチのほとんどはディープラーニングモデルを採用しており、比較的小さなデータセットが利用可能であることを考えると、優れたパフォーマンスを実現している。
本稿では,映像対話における実例と反実例の対比学習を開発するために,合成対実的コントラスト学習の新たなアプローチを提案する。
論文 参考訳(メタデータ) (2021-06-16T16:05:27Z) - DVD: A Diagnostic Dataset for Multi-step Reasoning in Video Grounded
Dialogue [30.930757279692163]
対話と映像の両方を理解するためには, 対話システムが必要となる。
既存のベンチマークには、対話システムを分析するのに十分なアノテーションがありません。
ビデオや対話でさまざまな推論能力をテストすることができる診断データセットを提示する。
論文 参考訳(メタデータ) (2021-01-01T03:20:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。