論文の概要: ImplicitQA: Going beyond frames towards Implicit Video Reasoning

• arxiv url: http://arxiv.org/abs/2506.21742v1
• Date: Thu, 26 Jun 2025 19:53:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.001534
• Title: ImplicitQA: Going beyond frames towards Implicit Video Reasoning
• Title（参考訳）: ImplicitQA: フレームを超えて、Implicit Video Reasoningへ
• Authors: Sirnam Swetha, Rohit Gupta, Parth Parag Kulkarni, David G Shatwell, Jeffrey A Chan Santiago, Nyle Siddiqui, Joseph Fioresi, Mubarak Shah,
• Abstract要約: ImplicitQAは暗黙の推論でモデルをテストするために設計された新しいベンチマークである。 320以上の高品質なクリエイティビティビデオクリップから得られた、1Kの微妙な注釈付きQAペアで構成されている。
• 参考スコア（独自算出の注目度）: 36.65883181090953
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video QA has made significant strides by leveraging multimodal learning to align visual and textual modalities. However, current benchmarks overwhelmingly focus on questions answerable through explicit visual content - actions, objects & events directly observable within individual frames or short clips. In contrast, creative and cinematic videos - such as movies, TV shows, and narrative-driven content - employ storytelling techniques that deliberately omit certain depictions, requiring viewers to infer motives, causality, and relationships across discontinuous frames. Humans naturally excel at such implicit reasoning, seamlessly integrating information across time and context to construct coherent narratives. Current VideoQA systems and benchmarks fail to capture this essential dimension of human-like understanding. To bridge this gap, we present ImplicitQA, a novel benchmark specifically designed to test models on implicit reasoning. It comprises 1K meticulously annotated QA pairs derived from 320+ high-quality creative video clips, systematically categorized into key reasoning dimensions: lateral and vertical spatial reasoning, depth and proximity, viewpoint and visibility, motion and trajectory, causal and motivational reasoning, social interactions, physical context, and inferred counting. These annotations are deliberately challenging, crafted by authors ensuring high-quality. Our extensive evaluations on leading VideoQA models reveals performance degradation, underscoring their reliance on surface-level visual cues and highlighting the difficulty of implicit reasoning. Performance variations across models further illustrate the complexity and diversity of the challenges presented by ImplicitQA. By releasing both the dataset and our data collection framework, we aim to stimulate further research and development in the community. https://huggingface.co/datasets/ucf-crcv/ImplicitQA.
• Abstract（参考訳）: ビデオQAは、マルチモーダル学習を活用して視覚とテキストのモダリティを調整することで、大きな進歩を遂げている。 しかしながら,現在のベンチマークでは,個々のフレームやショートクリップ内で直接観察可能なアクションやオブジェクト,イベントといった,明示的な視覚的コンテンツを通じて回答可能な問題に圧倒的に注目している。 対照的に、映画、テレビ番組、物語駆動のコンテンツなどの創造的・映画的なビデオは、特定の描写を意図的に省略するストーリーテリング技術を採用しており、視聴者はモチベーション、因果関係、不連続なフレーム間の関係を推測しなければならない。 人間は自然にそのような暗黙の推論に長け、時間と文脈を通して情報をシームレスに統合し、一貫性のある物語を構築する。 現在のビデオQAシステムとベンチマークは、人間のような理解の本質的な側面を捉えていない。 このギャップを埋めるために、暗黙の推論モデルをテストするために特別に設計された新しいベンチマークであるImplicitQAを紹介する。 320以上の高品質なクリエイティビティビデオクリップから得られた1Kの注釈付きQAペアを、横方向と垂直方向の推論、深度と近接方向、視点と可視性、運動と軌跡、因果的および動機的推論、社会的相互作用、物理的コンテキスト、推論カウントといった重要な推論次元に体系的に分類する。 これらのアノテーションは故意に難題であり、高品質を保証している著者によって作成されている。 先行するビデオQAモデルに対する広範な評価は、性能劣化を示し、表面レベルの視覚的手がかりへの依存を強調し、暗黙の推論の難しさを強調している。 モデル間のパフォーマンスの変化はさらに、ImplicitQAが提示する課題の複雑さと多様性を示している。 データセットとデータ収集フレームワークの両方をリリースすることにより、コミュニティにおけるさらなる研究と開発を促進することを目指しています。 https://huggingface.co/datasets/ucf-crcv/ImplicitQA。

関連論文リスト

• VideoMathQA: Benchmarking Mathematical Reasoning via Multimodal Understanding in Videos [89.39873803375498]
  VideoMathQAは、ビデオ上で時間的に拡張されたクロスモーダル推論を実行できるかどうかを評価するために設計されたベンチマークである。 ベンチマークは10種類の数学的領域にまたがっており、ビデオは10秒から1時間以上に及ぶ。 構造化された視覚的コンテンツを解釈し、指導的物語を理解し、視覚的、音声的、テキスト的モダリティにまたがる共同概念を理解するためのモデルが必要である。
  論文  参考訳（メタデータ） (2025-06-05T17:59:58Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• Prompting Video-Language Foundation Models with Domain-specific Fine-grained Heuristics for Video Question Answering [71.62961521518731]
  HeurVidQAは、ドメイン固有のエンティティアクションを利用して、事前訓練されたビデオ言語基盤モデルを洗練するフレームワークである。 我々のアプローチでは、これらのモデルを暗黙の知識エンジンとして扱い、ドメイン固有のエンティティアクションプロンサを使用して、推論を強化する正確な手がかりにモデルを焦点を向けます。
  論文  参考訳（メタデータ） (2024-10-12T06:22:23Z)
• Grounded Question-Answering in Long Egocentric Videos [39.281013854331285]
  長い、エゴセントリックなビデオで、個人やロボットが自分の過去の視覚的体験について尋ねることができる。 このタスクは、広範囲なビデオコンテンツ内での時間的グラウンドクエリの複雑さを含む、ユニークな課題を提示する。 提案手法は,クエリグラウンディングと応答を統一モデルに統合することにより,誤りの伝播を低減することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-12-11T16:31:55Z)
• Video as Conditional Graph Hierarchy for Multi-Granular Question Answering [80.94367625007352]
  ビデオはフレームシーケンスで表現されるが、視覚要素はシーケンシャルではなく、セマンティック空間において階層的である。 本稿では,異なる粒度の視覚的事実をレベルワイドに織り込む条件付きグラフ階層として,動画をモデル化することを提案する。
  論文  参考訳（メタデータ） (2021-12-12T10:35:19Z)
• Relation-aware Hierarchical Attention Framework for Video Question Answering [6.312182279855817]
  ビデオ中のオブジェクトの静的な関係と動的関係を学習するために,RHA(Relation-aware Hierarchical Attention)フレームワークを提案する。 特に、ビデオや質問は、まず事前訓練されたモデルによって埋め込まれ、視覚とテキストの特徴を得る。 我々は,時間的,空間的,意味的関係を考察し,階層的注意機構によりマルチモーダルな特徴を融合して回答を予測する。
  論文  参考訳（メタデータ） (2021-05-13T09:35:42Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。