Fugu-MT 論文翻訳(概要): What You Ask is What You Ground: Bridging Question Intent to Temporal Evidence for Grounded VideoQA

論文の概要: What You Ask is What You Ground: Bridging Question Intent to Temporal Evidence for Grounded VideoQA

arxiv url: http://arxiv.org/abs/2608.15708v1
Date: Sun, 16 Aug 2026 12:24:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-18 19:59:03.398525
Title: What You Ask is What You Ground: Bridging Question Intent to Temporal Evidence for Grounded VideoQA
Title（参考訳）: グラウンドで何を尋ねるか:グラウンドドビデオQAの時間的エビデンスに関する質問
Abstract要約: 地上ビデオ質問応答における批判的かつ見落とされがちな障害モードについて検討する。そこで本研究では,ローカライゼーション前の質問意図に基づいて映像特徴を調停するGroundFormerを提案する。 GroundFormerは、NExT-GQAおよびSTAR上で、最先端の地上ビデオQA性能を実現する。
参考スコア（独自算出の注目度）: 17.77550360283809
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study a critical yet overlooked failure mode in Grounded Video Question Answering: question-invariant grounding, where models predict nearly identical temporal segments for different questions about the same video. We trace this behavior to two structural limitations in prior common designs: (i) modality isolation that fixes video representations before they receive question semantics, and (ii) weak question injection inside the grounding module. To address this, we propose GroundFormer, which conditions video features on question intent before localization via learnable communication tokens that mediate directed visuo-lingual interaction. On top of the question-conditioned features, a factorized MIL cross-attention couples answer selection with temporal evidence under candidate-level supervision, while Gaussian smoothing converts peaked attention into temporally coherent segments. We further introduce a hierarchical multi-modal contrastive loss that aligns video, question, and answer embeddings across a two-pass training pipeline. GroundFormer achieves state-of-the-art grounded VideoQA performance on NExT-GQA and STAR, substantially improving question-discriminative temporal grounding.
Abstract（参考訳）: ここでは,同じビデオに関する異なる質問に対して,ほぼ同一の時間セグメントをモデルが予測する問題不変グラウンドリングについて検討する。我々は、この挙動を以前の共通設計における2つの構造的制限に追従する。 (i)質問文を受信する前に映像表現を固定するモダリティ分離、及び (ii)接地モジュール内の弱い疑問注入。そこで本研究では,視覚・言語間相互作用を媒介する学習可能な通信トークンを通じて,ビデオの特徴を位置化の前に問合せ対象に設定するGroundFormerを提案する。質問条件の特徴に加えて、分解されたMILのクロスアテンションカップルは、候補レベルの監督下での時間的証拠による選択に答え、ガウスの滑らか化はピーク時の注意を時間的一貫性のあるセグメントに変換する。さらに、ビデオ、質問、回答の埋め込みを2パスのトレーニングパイプラインに並べる階層的なマルチモーダルコントラスト損失を導入します。 GroundFormer は NExT-GQA と STAR 上での最先端のグラウンドド・グラウンドド・パフォーマンスを実現し,質問識別時間的グラウンドティングを大幅に改善した。

関連論文リスト

Evidence-Backed Video Question Answering [90.93225758130426]
既存の説明可能性の取り組みは、テキストの合理性やまばらなバウンディングボックスに依存している。 E-VQA(Evidence-Backed Video Question Answering)を提案する。これをサポートするために,識別的および生成的画素レベルのグラウンド化のための最初の人為的検証ベンチマークST-Evidenceを導入する。
論文参考訳（メタデータ） (2026-07-13T17:49:10Z)
MUPA: Towards Multi-Path Agentic Reasoning for Grounded Video Question Answering [64.46361702927457]
Grounded Video Question Answering (Grounded VideoQA) では、テキストによる回答と明確な視覚的証拠の整合が必要である。本研究では,ビデオグラウンド,質問応答,回答反射,集約を統一するMulti-Path AgenticアプローチであるMUPAを提案する。
論文参考訳（メタデータ） (2025-06-22T15:39:02Z)
Cross-modal Causal Relation Alignment for Video Question Grounding [44.97933293141372]
ビデオQG(Video question grounding)では、質問に答え、関連するビデオセグメントを同時に推論して回答をサポートする必要がある。既存のビデオQG手法は、通常、急激な相互モーダルな相関に悩まされ、意図された問題と一致した支配的な視覚シーンを特定することに失敗する。本稿では,CRA(Cross-modal Causal Relation Alignment)と呼ばれる新しいビデオQGフレームワークを提案する。
論文参考訳（メタデータ） (2025-03-05T01:36:32Z)
Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models [53.235170710385006]
我々は,特定の映像モーメントをきめ細かな方法で知覚・推論できる新しいビデオLLMであるGrounded-VideoLLMを紹介した。我々は,(1)フレーム間の関係を符号化する追加の時間的ストリームと(2)特定の時間的知識に富んだ離散的な時間的トークンを組み込むことで,モデルを洗練する。実験では, 時間文の接地, ビデオキャプションの密接化, ビデオQAの接地といった, きめ細かい接地作業に優れていた。
論文参考訳（メタデータ） (2024-10-04T10:04:37Z)
Locate before Answering: Answer Guided Question Localization for Video Question Answering [70.38700123685143]
LocAnsは質問ロケータと回答予測器をエンドツーエンドモデルに統合する。最新の2つのビデオQAデータセットで最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2022-10-05T08:19:16Z)
Frame-Subtitle Self-Supervision for Multi-Modal Video Question Answering [73.11017833431313]
マルチモーダルなビデオ質問応答は、正しい回答を予測し、その質問に関連する時間的境界をローカライズすることを目的としている。我々は、QAアノテーションのみを使用する、弱い教師付き質問基盤(WSQG)の設定を考案する。フレームと字幕の対応をフレーム字幕(FS)に変換し,時間的注意スコアの最適化を支援する。
論文参考訳（メタデータ） (2022-09-08T07:20:51Z)
Invariant Grounding for Video Question Answering [72.87173324555846]
Video Question Answering (ビデオQA)は、ビデオに関する質問に答えるタスクである。先行するビデオQAモデルでは、典型的な学習目標である経験的リスク最小化(ERM)が、ビデオクエストペアと回答の間の表面的相関に基づく。 Invariant Grounding for VideoQA (IGV) という新たな学習フレームワークを提案する。
論文参考訳（メタデータ） (2022-06-06T04:37:52Z)
End-to-End Dense Video Grounding via Parallel Regression [30.984657885692553]
ビデオグラウンドイングは、言語クエリが与えられた未トリミングビデオに対応するビデオモーメントをローカライズすることを目的としている。本稿では,Transformer-alike Architecture (PRVG) を再構成することで,エンドツーエンドの並列デコーディングパラダイムを提案する。設計の単純さのおかげで、私たちのPRVGフレームワークは異なるテストスキームに適用できます。
論文参考訳（メタデータ） (2021-09-23T10:03:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。