論文の概要: Multi-object event graph representation learning for Video Question Answering

• arxiv url: http://arxiv.org/abs/2409.07747v1
• Date: Thu, 12 Sep 2024 04:42:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 17:51:48.907787
• Title: Multi-object event graph representation learning for Video Question Answering
• Title（参考訳）: ビデオ質問応答のための多目的イベントグラフ表現学習
• Authors: Yanan Wang, Shuichiro Haruta, Donghuo Zeng, Julio Vizcarra, Mori Kurokawa,
• Abstract要約: 本稿では,この制限に対処するため,CLanGと呼ばれる言語イベントグラフ表現学習手法を提案する。 提案手法は,2つの挑戦的ビデオQA, NExT-QA, TGIF-QA-Rデータセットの精度を最大2.2%向上させる。
• 参考スコア（独自算出の注目度）: 4.236280446793381
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video question answering (VideoQA) is a task to predict the correct answer to questions posed about a given video. The system must comprehend spatial and temporal relationships among objects extracted from videos to perform causal and temporal reasoning. While prior works have focused on modeling individual object movements using transformer-based methods, they falter when capturing complex scenarios involving multiple objects (e.g., "a boy is throwing a ball in a hoop"). We propose a contrastive language event graph representation learning method called CLanG to address this limitation. Aiming to capture event representations associated with multiple objects, our method employs a multi-layer GNN-cluster module for adversarial graph representation learning, enabling contrastive learning between the question text and its relevant multi-object event graph. Our method outperforms a strong baseline, achieving up to 2.2% higher accuracy on two challenging VideoQA datasets, NExT-QA and TGIF-QA-R. In particular, it is 2.8% better than baselines in handling causal and temporal questions, highlighting its strength in reasoning multiple object-based events.
• Abstract（参考訳）: ビデオ質問応答(Video QA)とは、あるビデオに関する質問に対する正しい回答を予測するタスクである。 ビデオから抽出したオブジェクト間の空間的・時間的関係を理解して因果的・時間的推論を行う。 以前の研究では、トランスフォーマーベースの手法で個々のオブジェクトの動きをモデリングすることに重点を置いていたが、複数のオブジェクト(例えば「少年がフープにボールを投げている」など)を含む複雑なシナリオを捉えると、フェールする。 本稿では,この制限に対処するため,CLanGと呼ばれる言語イベントグラフ表現学習手法を提案する。 本手法では,複数のオブジェクトに関連付けられたイベント表現をキャプチャするために,逆グラフ表現学習のための多層GNNクラスタモジュールを用いて,質問テキストとその関連する複数オブジェクトイベントグラフ間のコントラスト学習を実現する。 提案手法は,2つの挑戦的データセットであるNExT-QAとTGIF-QA-Rの精度を最大2.2%向上させる。 特に、因果関係や時間的問題を扱う場合のベースラインよりも2.8%優れており、複数のオブジェクトベースのイベントを推論する際の強みを強調している。

関連論文リスト

• Top-down Activity Representation Learning for Video Question Answering [4.236280446793381]
  複雑な階層的人間活動の獲得は、高性能ビデオ質問応答(VideoQA)の実現に不可欠である 長時間のビデオシーケンスを空間画像領域に変換し、ビデオQAタスクのためのマルチモーダルモデルLLaVAを微調整する。 提案手法は,STARタスク,特に78.4%の精度で,NExTQAタスクの2.8ポイント以上を達成している。
  論文  参考訳（メタデータ） (2024-09-12T04:43:27Z)
• Glance and Focus: Memory Prompting for Multi-Event Video Question Answering [36.00733800536469]
  VideoQAは、人間の日常行動を理解するエージェントの能力を評価する重要なツールとして登場した。 人間は一連のエピソード記憶をアンカーとして使い、推論のための質問に関連する重要な瞬間を素早く見つけることで、簡単に対処できる。 この効果的な推論戦略を模倣するGlance-Focusモデルを提案する。
  論文  参考訳（メタデータ） (2024-01-03T03:51:16Z)
• MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form Video Question Answering [73.61182342844639]
  我々は,MIST(Multi-modal Iterative Spatial-temporal Transformer)と呼ばれる新しいモデルを導入する。 MISTは、従来の密集時空間自己アテンションをカスケードセグメントと領域選択モジュールに分解する。 異なる粒度の視覚概念は、アテンションモジュールを通して効率的に処理される。
  論文  参考訳（メタデータ） (2022-12-19T15:05:40Z)
• Exploring Motion and Appearance Information for Temporal Sentence Grounding [52.01687915910648]
  本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。 動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。 提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2022-01-03T02:44:18Z)
• DualVGR: A Dual-Visual Graph Reasoning Unit for Video Question Answering [75.01757991135567]
  本稿では,動画をエンドツーエンドで処理するDual-Visual Graph Reasoning Unit (DualVGR)を提案する。 我々のDualVGRネットワークは、ベンチマークMSVD-QAおよびSVQAデータセット上で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2021-07-10T06:08:15Z)
• MERLOT: Multimodal Neural Script Knowledge Models [74.05631672657452]
  我々はMERLOTを紹介した。MERLOTは、翻訳された音声で何百万ものYouTubeビデオを視聴することで、マルチモーダルなスクリプト知識を学習するモデルである。 MERLOTは、時間的コモンセンスの強力なアウトオブボックス表現を示し、12の異なるビデオQAデータセット上で最先端のパフォーマンスを達成する。 Visual Commonsense Reasoning では、MERLOT が80.6%の精度で正解し、同じ大きさの最先端のモデルを3%以上上回っている。
  論文  参考訳（メタデータ） (2021-06-04T17:57:39Z)
• Relation-aware Hierarchical Attention Framework for Video Question Answering [6.312182279855817]
  ビデオ中のオブジェクトの静的な関係と動的関係を学習するために,RHA(Relation-aware Hierarchical Attention)フレームワークを提案する。 特に、ビデオや質問は、まず事前訓練されたモデルによって埋め込まれ、視覚とテキストの特徴を得る。 我々は,時間的,空間的,意味的関係を考察し,階層的注意機構によりマルチモーダルな特徴を融合して回答を予測する。
  論文  参考訳（メタデータ） (2021-05-13T09:35:42Z)
• Location-aware Graph Convolutional Networks for Video Question Answering [85.44666165818484]
  そこで本研究では,ビデオ中のコンテンツを位置認識グラフとして表現することを提案する。 構築したグラフに基づいて,動作のカテゴリと時間的位置の両方を推測するためにグラフ畳み込みを提案する。 提案手法は,TGIF-QA,Youtube2Text-QA,MSVD-QAデータセットにおいて,最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-07T02:12:56Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。