論文の概要: Relation-aware Hierarchical Attention Framework for Video Question
Answering
- arxiv url: http://arxiv.org/abs/2105.06160v1
- Date: Thu, 13 May 2021 09:35:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-14 14:11:10.003221
- Title: Relation-aware Hierarchical Attention Framework for Video Question
Answering
- Title（参考訳）: ビデオ質問応答のための関係認識階層的注意フレームワーク
- Authors: Fangtao Li, Ting Bai, Chenyu Cao, Zihe Liu, Chenghao Yan, Bin Wu
- Abstract要約: ビデオ中のオブジェクトの静的な関係と動的関係を学習するために,RHA(Relation-aware Hierarchical Attention)フレームワークを提案する。
特に、ビデオや質問は、まず事前訓練されたモデルによって埋め込まれ、視覚とテキストの特徴を得る。
我々は,時間的,空間的,意味的関係を考察し,階層的注意機構によりマルチモーダルな特徴を融合して回答を予測する。
- 参考スコア（独自算出の注目度）: 6.312182279855817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video Question Answering (VideoQA) is a challenging video understanding task
since it requires a deep understanding of both question and video. Previous
studies mainly focus on extracting sophisticated visual and language
embeddings, fusing them by delicate hand-crafted networks.However, the
relevance of different frames, objects, and modalities to the question are
varied along with the time, which is ignored in most of existing methods.
Lacking understanding of the the dynamic relationships and interactions among
objects brings a great challenge to VideoQA task.To address this problem, we
propose a novel Relation-aware Hierarchical Attention (RHA) framework to learn
both the static and dynamic relations of the objects in videos. In particular,
videos and questions are embedded by pre-trained models firstly to obtain the
visual and textual features. Then a graph-based relation encoder is utilized to
extract the static relationship between visual objects.To capture the dynamic
changes of multimodal objects in different video frames, we consider the
temporal, spatial, and semantic relations, and fuse the multimodal features by
hierarchical attention mechanism to predict the answer. We conduct extensive
experiments on a large scale VideoQA dataset, and the experimental results
demonstrate that our RHA outperforms the state-of-the-art methods.
- Abstract（参考訳）: Video Question Answering (VideoQA)は、質問とビデオの両方の深い理解を必要とするため、難しいビデオ理解タスクである。
従来の研究は主に、洗練された視覚・言語埋め込みの抽出に重点を置いており、手作りの繊細なネットワークで活用されてきたが、既存の手法では無視されている時間とともに、質問に対するフレーム、オブジェクト、モダリティの関連性が変化している。
オブジェクト間の動的関係と相互作用の理解の欠如は、ビデオQAタスクに大きな課題をもたらし、この問題に対処するために、ビデオ内のオブジェクトの静的関係と動的関係の両方を学ぶための新しいRHA(Relation-aware Hierarchical Attention)フレームワークを提案する。
特に、ビデオや質問は、まず事前訓練されたモデルによって埋め込まれ、視覚とテキストの特徴を得る。
次に、グラフに基づく関係エンコーダを用いて、視覚オブジェクト間の静的関係を抽出し、異なる映像フレームにおけるマルチモーダルオブジェクトの動的変化を捉え、時間的、空間的、意味的関係を考察し、階層的注意機構によりマルチモーダル特徴を融合させ、回答を予測する。
我々は大規模なビデオQAデータセットで広範な実験を行い、実験結果からRHAが最先端の手法よりも優れていることが示された。
関連論文リスト
- Prompting Video-Language Foundation Models with Domain-specific Fine-grained Heuristics for Video Question Answering [71.62961521518731]
HeurVidQAは、ドメイン固有のエンティティアクションを利用して、事前訓練されたビデオ言語基盤モデルを洗練するフレームワークである。
我々のアプローチでは、これらのモデルを暗黙の知識エンジンとして扱い、ドメイン固有のエンティティアクションプロンサを使用して、推論を強化する正確な手がかりにモデルを焦点を向けます。
論文 参考訳（メタデータ） (2024-10-12T06:22:23Z) - VrdONE: One-stage Video Visual Relation Detection [30.983521962897477]
Video Visual Relation Detection (VidVRD)は、ビデオの時間と空間におけるエンティティの理解に焦点を当てている。
VidVRDの従来の手法は、その複雑さに悩まされ、通常、タスクを2つの部分に分割する。
VidVRDのワンステージモデルであるVrdONEを提案する。
論文 参考訳（メタデータ） (2024-08-18T08:38:20Z) - RTQ: Rethinking Video-language Understanding Based on Image-text Model [55.278942477715084]
ビデオ言語理解は、非常に複雑なセマンティックな詳細を含んでいるため、ユニークな課題を提示する。
本稿では,これらの課題を同時に解決するRTQという新しいフレームワークを提案する。
本モデルは,ビデオ言語による事前学習がなくても,優れた性能を示す。
論文 参考訳（メタデータ） (2023-12-01T04:51:01Z) - Keyword-Aware Relative Spatio-Temporal Graph Networks for Video Question
Answering [16.502197578954917]
ビデオQAのグラフベースのメソッドは通常、質問のキーワードを無視し、機能を集約するために単純なグラフを使用する。
ビデオQAのためのキーワード対応相対時空間(KRST)グラフネットワークを提案する。
論文 参考訳（メタデータ） (2023-07-25T04:41:32Z) - Rethinking Multi-Modal Alignment in Video Question Answering from
Feature and Sample Perspectives [30.666823939595627]
本稿では,ビデオQAにおけるマルチモーダルアライメント問題について,特徴とサンプルの観点から再考する。
我々はヘテロジニアスグラフアーキテクチャを採用し、トラジェクトリレベルとフレームレベルの両方の視覚特徴を言語特徴と整合させる階層的なフレームワークを設計する。
提案手法は, NExT-QAベンチマークにおいて, 最先端モデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-04-25T10:42:07Z) - Exploring Motion and Appearance Information for Temporal Sentence
Grounding [52.01687915910648]
本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。
動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。
提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
論文 参考訳（メタデータ） (2022-01-03T02:44:18Z) - Video as Conditional Graph Hierarchy for Multi-Granular Question
Answering [80.94367625007352]
ビデオはフレームシーケンスで表現されるが、視覚要素はシーケンシャルではなく、セマンティック空間において階層的である。
本稿では,異なる粒度の視覚的事実をレベルワイドに織り込む条件付きグラフ階層として,動画をモデル化することを提案する。
論文 参考訳（メタデータ） (2021-12-12T10:35:19Z) - Hierarchical Object-oriented Spatio-Temporal Reasoning for Video
Question Answering [27.979053252431306]
Video Question Answering (ビデオQA)は、新しいAI機能を開発するための強力なテストベッドである。
本稿では,対話するオブジェクトの動的ストリームとして動画を抽象化するオブジェクト指向推論手法を提案する。
このメカニズムは汎用神経ユニットのファミリーと多層アーキテクチャに実体化されている。
論文 参考訳（メタデータ） (2021-06-25T05:12:42Z) - Object-Centric Representation Learning for Video Question Answering [27.979053252431306]
ビデオ回答(Video QA)は、人間のようなインテリジェントな行動のための強力なテストベッドを提供します。
このタスクは、処理、言語理解、抽象概念を具体的なビジュアルアーティファクトに結合する新しい機能を必要とする。
本稿では,映像をオブジェクトのリレーショナルグラフに変換するための新しいクエリ誘導表現フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-12T02:37:20Z) - Dense-Caption Matching and Frame-Selection Gating for Temporal
Localization in VideoQA [96.10612095576333]
本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。
また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。
当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
論文 参考訳（メタデータ） (2020-05-13T16:35:27Z) - Hierarchical Conditional Relation Networks for Video Question Answering [62.1146543269993]
条件関係ネットワーク(CRN)と呼ばれる汎用再利用可能なニューラルネットワークユニットを導入する。
CRNは、ビデオ上での表現と推論のためのより洗練された構造を構築するためのビルディングブロックとして機能する。
その結果,ビデオQAのような複雑なドメインに対する汎用推論ユニットの構築の影響が示された。
論文 参考訳（メタデータ） (2020-02-25T07:00:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。