論文の概要: ImplicitQA: Going beyond frames towards Implicit Video Reasoning

• arxiv url: http://arxiv.org/abs/2506.21742v2
• Date: Sun, 05 Oct 2025 23:04:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 14:28:10.260322
• Title: ImplicitQA: Going beyond frames towards Implicit Video Reasoning
• Title（参考訳）: ImplicitQA: フレームを超えて、Implicit Video Reasoningへ
• Authors: Sirnam Swetha, Rohit Gupta, Parth Parag Kulkarni, David G Shatwell, Jeffrey A Chan Santiago, Nyle Siddiqui, Joseph Fioresi, Mubarak Shah,
• Abstract要約: ImplicitQAは、人間のような暗黙の推論でビデオQAモデルをテストするために設計された新しいベンチマークである。 ImplicitQAは、1Kの高品質なクリエイティビティビデオクリップから引き出された1Kの微妙な注釈付きQAペアからなる。
• 参考スコア（独自算出の注目度）: 39.63171940350552
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video Question Answering (VideoQA) has made significant strides by leveraging multimodal learning to align visual and textual modalities. However, current benchmarks overwhelmingly focus on questions answerable through explicit visual content - actions, objects, and events directly observable within individual frames or short clips. In contrast, creative and cinematic videos - such as movies, TV shows, and narrative-driven content - employ storytelling techniques that deliberately omit certain depictions, requiring viewers to infer motives, relationships across discontinuous frames with disjoint visual contexts. Humans naturally excel at such implicit reasoning, seamlessly integrating information across time and context to construct coherent narratives. Yet current benchmarks fail to capture this essential dimension of human-like understanding. To bridge this gap, we present ImplicitQA, a novel benchmark specifically designed to test VideoQA models on human-like implicit reasoning. ImplicitQA comprises 1K meticulously annotated QA pairs drawn from 1K high-quality creative video clips covering 15 genres across 7 decades of content. Questions are systematically categorized into nine key reasoning dimensions: lateral and vertical spatial reasoning, depth and proximity, viewpoint and visibility, motion and trajectory, causal and motivational reasoning, social interactions, physical context, and inferred counting. These annotations are deliberately challenging, crafted by authors, validated through multiple annotators, and benchmarked against human performance to ensure high quality. Our extensive evaluations on 11 leading VideoQA models reveals consistent and significant performance degradation, underscoring their reliance on surface-level visual cues and highlighting the difficulty of implicit reasoning. https://huggingface.co/datasets/ucf-crcv/ImplicitQA.
• Abstract（参考訳）: Video Question Answering (VideoQA) は,マルチモーダル学習を利用して視覚的・テキスト的モダリティの整合を図っている。 しかしながら、現在のベンチマークでは、個々のフレームやショートクリップ内で直接観察可能なアクション、オブジェクト、イベントといった、明示的な視覚的コンテンツを通じて答えられる質問に圧倒的に焦点が当てられている。 対照的に、映画、テレビ番組、物語駆動のコンテンツなどの創造的・映画的なビデオは、特定の描写を意図的に省略するストーリーテリング技術を採用しており、視聴者はモチベーション、不連続なフレーム間の関係、不連続な視覚的コンテキストを推論する必要がある。 人間は自然にそのような暗黙の推論に長けており、時間と文脈を通して情報をシームレスに統合し、一貫性のある物語を構築する。 しかし、現在のベンチマークでは、人間のような理解の本質的な側面を捉えられていない。 このギャップを埋めるために、人間のような暗黙の推論でビデオQAモデルをテストするために特別に設計された新しいベンチマークであるImplicitQAを紹介する。 ImplicitQAは、70年間にわたる15のジャンルをカバーする高品質のクリエイティビティビデオクリップから、1Kの微妙な注釈付きQAペアで構成されている。 質問は、横方向と垂直方向の空間的推論、深度と近接度、視点と可視性、運動と軌跡、因果的および動機的推論、社会的相互作用、物理的文脈、推測数という9つの重要な推論次元に分類される。 これらのアノテーションは意図的に難しく、著者によって作成され、複数のアノテーションを通して検証され、高い品質を保証するために人のパフォーマンスに対してベンチマークされている。 主要な11種類のビデオQAモデルに対する広範な評価では、一貫した、重要なパフォーマンス劣化が示され、表面レベルの視覚的手がかりへの依存が強調され、暗黙の推論の難しさが強調される。 https://huggingface.co/datasets/ucf-crcv/ImplicitQA。

関連論文リスト

• FIQ: Fundamental Question Generation with the Integration of Question Embeddings for Video Question Answering [26.585985828583304]
  ビデオ質問(英語: Video question of answering、VQA)とは、ある質問に答えるためにビデオの解釈を必要とするタスクである。 本稿では,ビデオの基本的な理解を深めることにより,モデルの推論能力を高めるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-07-17T06:19:38Z)
• VideoMathQA: Benchmarking Mathematical Reasoning via Multimodal Understanding in Videos [89.39873803375498]
  VideoMathQAは、ビデオ上で時間的に拡張されたクロスモーダル推論を実行できるかどうかを評価するために設計されたベンチマークである。 ベンチマークは10種類の数学的領域にまたがっており、ビデオは10秒から1時間以上に及ぶ。 構造化された視覚的コンテンツを解釈し、指導的物語を理解し、視覚的、音声的、テキスト的モダリティにまたがる共同概念を理解するためのモデルが必要である。
  論文  参考訳（メタデータ） (2025-06-05T17:59:58Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• Prompting Video-Language Foundation Models with Domain-specific Fine-grained Heuristics for Video Question Answering [71.62961521518731]
  HeurVidQAは、ドメイン固有のエンティティアクションを利用して、事前訓練されたビデオ言語基盤モデルを洗練するフレームワークである。 我々のアプローチでは、これらのモデルを暗黙の知識エンジンとして扱い、ドメイン固有のエンティティアクションプロンサを使用して、推論を強化する正確な手がかりにモデルを焦点を向けます。
  論文  参考訳（メタデータ） (2024-10-12T06:22:23Z)
• Grounded Question-Answering in Long Egocentric Videos [39.281013854331285]
  長い、エゴセントリックなビデオで、個人やロボットが自分の過去の視覚的体験について尋ねることができる。 このタスクは、広範囲なビデオコンテンツ内での時間的グラウンドクエリの複雑さを含む、ユニークな課題を提示する。 提案手法は,クエリグラウンディングと応答を統一モデルに統合することにより,誤りの伝播を低減することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-12-11T16:31:55Z)
• FunQA: Towards Surprising Video Comprehension [64.58663825184958]
  本稿では,挑戦的なビデオ質問応答データセットであるFunQAを紹介する。 FunQAはHumorQA、CreativeQA、MagicQAの3種類の驚くべきビデオをカバーしている。 FunQAベンチマークは4.3Kビデオクリップから派生した312KのフリーテキストQAペアで構成されている。
  論文  参考訳（メタデータ） (2023-06-26T17:59:55Z)
• Video as Conditional Graph Hierarchy for Multi-Granular Question Answering [80.94367625007352]
  ビデオはフレームシーケンスで表現されるが、視覚要素はシーケンシャルではなく、セマンティック空間において階層的である。 本稿では,異なる粒度の視覚的事実をレベルワイドに織り込む条件付きグラフ階層として,動画をモデル化することを提案する。
  論文  参考訳（メタデータ） (2021-12-12T10:35:19Z)
• Relation-aware Hierarchical Attention Framework for Video Question Answering [6.312182279855817]
  ビデオ中のオブジェクトの静的な関係と動的関係を学習するために,RHA(Relation-aware Hierarchical Attention)フレームワークを提案する。 特に、ビデオや質問は、まず事前訓練されたモデルによって埋め込まれ、視覚とテキストの特徴を得る。 我々は,時間的,空間的,意味的関係を考察し,階層的注意機構によりマルチモーダルな特徴を融合して回答を予測する。
  論文  参考訳（メタデータ） (2021-05-13T09:35:42Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。