論文の概要: UpstreamQA: A Modular Framework for Explicit Reasoning on Video Question Answering Tasks

• arxiv url: http://arxiv.org/abs/2604.23145v1
• Date: Sat, 25 Apr 2026 05:07:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.180168
• Title: UpstreamQA: A Modular Framework for Explicit Reasoning on Video Question Answering Tasks
• Title（参考訳）: UpstreamQA: ビデオ質問回答タスクの明示的推論のためのモジュールフレームワーク
• Authors: Jason Nguyen, Ameet Rao, Alexander Chang, Ishaan Kumar, Erin Tan,
• Abstract要約: Video Question Answering (ビデオQA)は、空間的、時間的、言語的な手がかりを共同で推論するモデルを要求する。 大推論モデル(LRM)は、解釈可能性を高める中間論理ステップを明示的に生成する。 本稿では,アップストリーム推論モジュールによってコアビデオ推論コンポーネントをアンタングル化し,評価するモジュールフレームワークであるUpstreamQAを提案する。
• 参考スコア（独自算出の注目度）: 37.724232080494424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video Question Answering (VideoQA) demands models that jointly reason over spatial, temporal, and linguistic cues. However, the task's inherent complexity often requires multi-step reasoning that current large multimodal models (LMMs) perform implicitly, leaving their internal decision process opaque. In contrast, large reasoning models (LRMs) explicitly generate intermediate logical steps that enhance interpretability and can improve multi-hop reasoning accuracy. Yet, these models are not designed for native video understanding, as they typically rely on static frame sampling. We propose UpstreamQA, a modular framework that disentangles and evaluates core video reasoning components through explicit upstream reasoning modules. Specifically, we employ multimodal LRMs to perform object identification and scene context generation before passing enriched reasoning traces to downstream LMMs for VideoQA. We evaluate UpstreamQA on the OpenEQA and NExTQA datasets using two LRMs (o4-mini, Gemini 2.5 Pro) and two LMMs (GPT-4o, Gemini 2.5 Flash). Our results demonstrate that introducing explicit reasoning can significantly boost performance and interpretability of downstream VideoQA, but can also lead to performance degradation when baseline performance is sufficiently high. Overall, UpstreamQA offers a principled framework for combining explicit reasoning and multimodal understanding, advancing both performance and diagnostic transparency in VideoQA in several scenarios.
• Abstract（参考訳）: Video Question Answering (ビデオQA)は、空間的、時間的、言語的な手がかりを共同で推論するモデルを要求する。 しかしながら、タスク固有の複雑さは、しばしば、現在の大規模マルチモーダルモデル(LMM)が暗黙的に機能し、内部決定プロセスが不透明である、というマルチステップの推論を必要とする。 対照的に、大きな推論モデル(LRM)は、解釈可能性を高め、マルチホップ推論精度を向上させるための中間論理ステップを明示的に生成する。 しかし、これらのモデルは、通常静的なフレームサンプリングに依存するため、ネイティブなビデオ理解のために設計されていない。 本稿では,アップストリーム推論モジュールによってコアビデオ推論コンポーネントをアンタングル化し,評価するモジュールフレームワークであるUpstreamQAを提案する。 具体的には、ビデオQAのための下流LMMにリッチな推論トレースを渡す前に、オブジェクト識別とシーンコンテキスト生成を行うためにマルチモーダルLEMを用いる。 2つのLRM(o4-mini, Gemini 2.5 Pro)と2つのLMM(GPT-4o, Gemini 2.5 Flash)を用いて、OpenEQAおよびNExTQAデータセット上のUpstreamQAを評価する。 以上の結果から,ビデオQAの性能と解釈性は著しく向上するが,ベースライン性能が十分に高い場合には性能が低下する可能性が示唆された。 全体として、UpstreamQAは、明示的な推論とマルチモーダル理解を組み合わせるための原則化されたフレームワークを提供し、いくつかのシナリオにおいて、ビデオQAのパフォーマンスと診断の透明性を向上する。

関連論文リスト

• Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
  Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。 データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
  論文  参考訳（メタデータ） (2026-04-06T17:59:56Z)
• Advancing Adaptive Multi-Stage Video Anomaly Reasoning: A Benchmark Dataset and Method [96.63801368613177]
  本稿では,記述的理解から構造化多段階推論への映像異常解析を向上するタスクを提案する。 我々は8,641本のビデオからなる新しいデータセットを提示し、合計5万本以上のサンプルを作成し、ビデオ異常理解のための最大のデータセットの1つである。 提案したタスクとデータセットに基づいて,適応的階層的推論とリスク認識意思決定をサポートする,Vad-R1-Plusと呼ばれるエンドツーエンドのMLLMベースのVARモデルを開発する。
  論文  参考訳（メタデータ） (2026-01-15T08:09:04Z)
• Video-QTR: Query-Driven Temporal Reasoning Framework for Lightweight Video Understanding [37.682165829414494]
  Video-QTRは、クエリ誘導推論プロセスとしてビデオ理解を再定義する軽量フレームワークである。 ビデオQTRは,入力フレームの消費を最大73%削減し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-12-10T06:28:00Z)
• StreamingCoT: A Dataset for Temporal Dynamics and Multimodal Chain-of-Thought Reasoning in Streaming VideoQA [60.86024022291499]
  ストリーミングビデオストリームにおける時間的に進化する推論のために明示的に設計された最初のデータセットであるStreamingCoTを紹介する。 本フレームワークは,秒単位の高密度な記述を生成し,類似性融合により時間依存性のセマンティックセグメントを構築する。 このデータセットは、ストリーミングビデオ理解、複雑な時間的推論、マルチモーダル推論の研究を促進する基盤を確立する。
  論文  参考訳（メタデータ） (2025-10-29T09:47:38Z)
• Think Then Embed: Generative Context Improves Multimodal Embedding [51.76690812535934]
  本稿では,ユニバーサル・マルチモーダル・エンベディング (UME) のためのThink-Then-Embed (TTE) フレームワークを提案する。 強力なMLLM推論器を利用することで、MMEB-V2ベンチマークで最先端のパフォーマンスを達成し、大規模な社内データセットでトレーニングされたプロプライエタリモデルを上回った。
  論文  参考訳（メタデータ） (2025-10-06T16:53:56Z)
• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。