論文の概要: Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning

• arxiv url: http://arxiv.org/abs/2512.05513v1
• Date: Fri, 05 Dec 2025 08:15:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-13 22:40:56.951187
• Title: Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning
• Title（参考訳）: Know-Show:時空間場推論におけるビデオ言語モデルのベンチマーク
• Authors: Chinthani Sugandhika, Chen Li, Deepu Rajan, Basura Fernando,
• Abstract要約: マルチモーダルビデオ言語モデル(Video-LMs)を評価するための新しいベンチマークであるKnow-Showを提案する。 Know-Showは、空間的(人、物、人、物)と時間的次元の5つのシナリオからなる単一の評価枠組み内での推論と局所化を統一する。 Charades、Action Genome、Ego4Dから2.5万の人間の言語質問で作られたこのベンチマークは、現在のビデオ-LMと人間の推論の間に大きなギャップを露呈している。 このギャップを埋めるために、我々は、きめ細かい接地でビデオ-LMを増強するトレーニング不要なプラグインであるGRAMを提案する。
• 参考スコア（独自算出の注目度）: 18.15310805625469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Video-Language Models (Video-LMs) have achieved impressive progress in multimodal understanding, yet their reasoning remains weakly grounded in space and time. We present Know-Show, a new benchmark designed to evaluate spatio-temporal grounded reasoning, the ability of a model to reason about actions and their semantics while simultaneously grounding its inferences in visual and temporal evidence. Know-Show unifies reasoning and localization within a single evaluation framework consisting of five complementary scenarios across spatial (person, object, person-object, and hand-object) and temporal dimensions. Built from Charades, Action Genome, and Ego4D with 2.5K human-authored questions, the benchmark exposes significant gaps between current Video-LMs and human reasoning. To bridge this gap, we propose GRAM, a training-free plug-in that augments Video-LMs with fine-grained grounding through attention-based video token selection and explicit timestamp encoding. Extensive experiments across open and closed Video-LMs (Qwen, VideoLLaVA, GPT-4o, and Gemini, etc.) reveal that existing models struggle to "show what they know" and vice versa, especially in fine-grained hand-object interactions. Know-Show establishes a unified standard for assessing grounded reasoning in video-language understanding and provides insights toward developing interpretable and reliable multimodal reasoning systems. We will release the code at https://github.com/LUNAProject22/Know-Show.
• Abstract（参考訳）: 大規模ビデオ言語モデル (Video-LMs) は、マルチモーダル理解において目覚ましい進歩を遂げているが、その推論は空間と時間に弱い基礎を保っている。 我々は、時空間的根拠に基づく推論、モデルが行動とその意味を推論し、同時にその推論を視覚的および時間的証拠に基礎付ける能力を評価するために設計された新しいベンチマークであるKnow-Showを提案する。 Know-Showは、空間的(人、物、人、物)と時間的次元の5つの相補的なシナリオからなる単一の評価枠組み内での推論と局所化を統一する。 Charades、Action Genome、Ego4Dの5万5000人の人間による質問で作られたこのベンチマークは、現在のビデオ-LMと人間の推論の間に大きなギャップを露呈している。 このギャップを埋めるために、注意に基づくビデオトークン選択と明示的なタイムスタンプ符号化により、ビデオ-LMをきめ細かなグラウンドで拡張する、トレーニング不要なプラグインであるGRAMを提案する。 オープンでクローズドなビデオ-LM(Qwen, VideoLLaVA, GPT-4o, Geminiなど)にわたる大規模な実験では、既存のモデルでは、特に細粒度のハンドオブジェクトインタラクションにおいて、彼らが何を知っているかを示すのに苦労している。 Know-Showは、ビデオ言語理解における基礎的推論を評価するための統一的な標準を確立し、解釈可能で信頼性の高いマルチモーダル推論システムを開発するための洞察を提供する。 コードはhttps://github.com/LUNAProject22/Know-Show.comで公開します。

関連論文リスト

• Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
  動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。 本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。 結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2025-11-28T18:59:58Z)
• Open-o3 Video: Grounded Video Reasoning with Explicit Spatio-Temporal Evidence [70.2803680525165]
  我々は、明示的な証拠をビデオ推論に統合する非エージェントフレームワークであるOpen-o3 Videoを紹介した。 このモデルは、キーオブジェクトとバウンディングボックスをその答えとともに強調し、推論を具体的な視覚的な観察で基礎付けることができる。 V-STARベンチマークでは、Open-o3 Videoは最先端のパフォーマンスを達成し、mAMを14.4%、mLタイムスタンプを24.2%向上させた。
  論文  参考訳（メタデータ） (2025-10-23T14:05:56Z)
• Strefer: Empowering Video LLMs with Space-Time Referring and Reasoning via Synthetic Instruction Data [100.5266292850922]
  Streferはビデオ大モデルに参照と推論機能を持たせるために設計された合成データ生成フレームワークである。 Streferは、時間的に密度が高くきめ細かなビデオメタデータを擬似アノテーションするデータエンジンを使用して、多様な命令生成データを生成する。 我々のアプローチは、ビデオLLMが空間的および時間的参照を解釈する能力を高め、現実のAIコンパニオンに不可欠な、より汎用的で時空間対応の推論を育む。
  論文  参考訳（メタデータ） (2025-09-03T17:33:20Z)
• When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding [12.410012029024342]
  我々は,3つの重要なイノベーションを導入することで,制限を克服するビデオLLMであるGrounded VideoDiTを紹介する。 第一に、拡散時間遅延(DTL)エンコーダは境界感度を高め、時間的一貫性を維持する。 第二に、オブジェクト基底表現は、クエリエンティティを局所化された視覚的エビデンスに明示的に結合し、アライメントを強化する。 第三に、離散時間的タイムスタンプトークンを持つ混合トークンスキームは明示的なモデリングを提供し、きめ細かい時間的推論を可能にする。
  論文  参考訳（メタデータ） (2025-08-21T15:12:14Z)
• Universal Video Temporal Grounding with Generative Multi-modal Large Language Models [59.781211641591405]
  本稿では,自然言語クエリに基づいて映像中の時間的モーメントを正確に局所化する,ユニバーサルビデオ時間的グラウンドの計算モデルを提案する。 生成型マルチモーダル大言語モデル(MLLM)の強力な視覚言語理解機能を活用した,堅牢で普遍的なビデオグラウンドモデルUniTimeを提案する。 我々のモデルは、複雑な言語クエリを解釈しながら、多様なビュー、ジャンル、長さの動画を効果的に処理する。
  論文  参考訳（メタデータ） (2025-06-23T17:53:18Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。