論文の概要: Multi-granularity Contrastive Cross-modal Collaborative Generation for End-to-End Long-term Video Question Answering

• arxiv url: http://arxiv.org/abs/2410.09379v1
• Date: Sat, 12 Oct 2024 06:21:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 14:44:04.816370
• Title: Multi-granularity Contrastive Cross-modal Collaborative Generation for End-to-End Long-term Video Question Answering
• Title（参考訳）: エンド・ツー・エンドのビデオ質問応答のためのマルチグラニュラリティコントラストクロスモーダル協調生成
• Authors: Ting Yu, Kunhao Fu, Jian Zhang, Qingming Huang, Jun Yu,
• Abstract要約: ビデオQA(Long-term Video Question Answering)は、視覚的および言語的ブリッジングの課題である。 マルチグラニュラリティ コントラスト クロスモーダル・コラボレーティブ・ジェネレーション・モデル。
• 参考スコア（独自算出の注目度）: 53.39158264785098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-term Video Question Answering (VideoQA) is a challenging vision-and-language bridging task focusing on semantic understanding of untrimmed long-term videos and diverse free-form questions, simultaneously emphasizing comprehensive cross-modal reasoning to yield precise answers. The canonical approaches often rely on off-the-shelf feature extractors to detour the expensive computation overhead, but often result in domain-independent modality-unrelated representations. Furthermore, the inherent gradient blocking between unimodal comprehension and cross-modal interaction hinders reliable answer generation. In contrast, recent emerging successful video-language pre-training models enable cost-effective end-to-end modeling but fall short in domain-specific ratiocination and exhibit disparities in task formulation. Toward this end, we present an entirely end-to-end solution for long-term VideoQA: Multi-granularity Contrastive cross-modal collaborative Generation (MCG) model. To derive discriminative representations possessing high visual concepts, we introduce Joint Unimodal Modeling (JUM) on a clip-bone architecture and leverage Multi-granularity Contrastive Learning (MCL) to harness the intrinsically or explicitly exhibited semantic correspondences. To alleviate the task formulation discrepancy problem, we propose a Cross-modal Collaborative Generation (CCG) module to reformulate VideoQA as a generative task instead of the conventional classification scheme, empowering the model with the capability for cross-modal high-semantic fusion and generation so as to rationalize and answer. Extensive experiments conducted on six publicly available VideoQA datasets underscore the superiority of our proposed method.
• Abstract（参考訳）: ビデオQA(Long-term Video Question Answering)は、未編集の長期ビデオと多様な自由形式の質問のセマンティック理解に焦点を当てた、視覚的および言語的なブリッジングタスクである。 標準的アプローチは、しばしば高価な計算オーバーヘッドを抑えるためにオフザシェルフ特徴抽出器に依存するが、ドメイン非依存のモダリティ非関連表現をもたらす。 さらに、一元的理解と相互モーダル相互作用の固有の勾配ブロックは、信頼性の高い回答生成を妨げている。 対照的に、最近のビデオ言語事前学習モデルの成功により、コスト効率のよいエンドツーエンドモデリングが可能になったが、ドメイン固有の比率付けでは不足し、タスクの定式化における相違が見られる。 この目的のために我々は,Multi-granularity Contrastive cross-modal collaborative Generation (MCG)モデルという,ビデオQAの完全なエンドツーエンドソリューションを提案する。 高い視覚的概念を持つ識別表現を導出するために、クリップボーンアーキテクチャにJUM(Joint Unimodal Modeling)を導入し、MCL(Multi-granularity Contrastive Learning)を活用し、本質的または明示的な意味対応を活用する。 タスク定式化の相違を緩和するために,従来の分類方式ではなく,ビデオQAを生成タスクとして再構成するクロスモーダル協調生成(CCG)モジュールを提案する。 公開されている6つのビデオQAデータセットに対して行われた大規模な実験は、提案手法の優位性を裏付けるものである。

関連論文リスト

• Prompting Video-Language Foundation Models with Domain-specific Fine-grained Heuristics for Video Question Answering [71.62961521518731]
  HeurVidQAは、ドメイン固有のエンティティアクションを利用して、事前訓練されたビデオ言語基盤モデルを洗練するフレームワークである。 我々のアプローチでは、これらのモデルを暗黙の知識エンジンとして扱い、ドメイン固有のエンティティアクションプロンサを使用して、推論を強化する正確な手がかりにモデルを焦点を向けます。
  論文  参考訳（メタデータ） (2024-10-12T06:22:23Z)
• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Cross-Modal Reasoning with Event Correlation for Video Question Answering [32.332251488360185]
  本稿では, 副次的・蒸留的事象関連情報として高密度キャプションモダリティを導入し, その正解を推測する。 我々は、モーダル間関係を明示的にモデル化し、異なるモーダル間で関連情報を集約するために、モーダル間推論モジュールを用いる。 質問指向および事象関連エビデンスを多段階推論により収集する,質問誘導型自己適応型マルチモーダル融合モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:30:39Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form Video Question Answering [73.61182342844639]
  我々は,MIST(Multi-modal Iterative Spatial-temporal Transformer)と呼ばれる新しいモデルを導入する。 MISTは、従来の密集時空間自己アテンションをカスケードセグメントと領域選択モジュールに分解する。 異なる粒度の視覚概念は、アテンションモジュールを通して効率的に処理される。
  論文  参考訳（メタデータ） (2022-12-19T15:05:40Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。