論文の概要: Bridge to Answer: Structure-aware Graph Interaction Network for Video Question Answering

• arxiv url: http://arxiv.org/abs/2104.14085v1
• Date: Thu, 29 Apr 2021 03:02:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 00:02:14.957930
• Title: Bridge to Answer: Structure-aware Graph Interaction Network for Video Question Answering
• Title（参考訳）: Bridge to Answer: ビデオ質問応答のための構造対応グラフインタラクションネットワーク
• Authors: Jungin Park, Jiyoung Lee, Kwanghoon Sohn
• Abstract要約: 本稿では,ある映像に対する質問に対する正しい回答を推測する新しい手法である「回答のためのブリッジ」を提案する。 映像と問合せの関係を利用して,問答間インタラクションを用いて各視覚ノードを有効化することにより,質問条件付きビジュアルグラフを学習する。 本手法は,映像質問応答に強力な能力を示す外観と動作に起因する質問条件付き視覚表現を学習できる。
• 参考スコア（独自算出の注目度）: 56.65656211928256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a novel method, termed Bridge to Answer, to infer correct answers for questions about a given video by leveraging adequate graph interactions of heterogeneous crossmodal graphs. To realize this, we learn question conditioned visual graphs by exploiting the relation between video and question to enable each visual node using question-to-visual interactions to encompass both visual and linguistic cues. In addition, we propose bridged visual-to-visual interactions to incorporate two complementary visual information on appearance and motion by placing the question graph as an intermediate bridge. This bridged architecture allows reliable message passing through compositional semantics of the question to generate an appropriate answer. As a result, our method can learn the question conditioned visual representations attributed to appearance and motion that show powerful capability for video question answering. Extensive experiments prove that the proposed method provides effective and superior performance than state-of-the-art methods on several benchmarks.
• Abstract（参考訳）: 本稿では,不均一なクロスモーダルグラフの適切なグラフ相互作用を活用することにより,あるビデオに関する質問に対する正しい回答を推測する手法であるBridge to Answerを提案する。 これを実現するために,映像と問合せの関係を利用した質問条件付き視覚グラフを学習し,問合せ相互作用を用いた各視覚ノードを視覚と言語の両方の手がかりに含めるようにした。 さらに,質問グラフを中間ブリッジとして配置することにより,外観と動きに関する2つの相補的な視覚情報を組み込むブリッジ型視覚対視覚インタラクションを提案する。 このブリッジアーキテクチャは、質問の構成的意味論を通して信頼できるメッセージパッシングを可能にし、適切な回答を生成する。 その結果,ビデオ質問応答の強力な機能を示す外観や動きに起因する質問条件付き視覚表現を学習することが可能となった。 大規模な実験により,提案手法はいくつかのベンチマークにおける最先端手法よりも有効かつ優れた性能を示すことが示された。

関連論文リスト

• Ask Questions with Double Hints: Visual Question Generation with Answer-awareness and Region-reference [107.53380946417003]
  本稿では,応答認識と領域参照を用いた視覚的質問生成のための新しい学習パラダイムを提案する。 我々は、追加の人間のアノテーションを導入することなく、視覚的ヒントを自己学習する簡単な手法を開発した。
  論文  参考訳（メタデータ） (2024-07-06T15:07:32Z)
• Visual Commonsense based Heterogeneous Graph Contrastive Learning [79.22206720896664]
  視覚的推論タスクをより良く仕上げるための異種グラフコントラスト学習法を提案する。 本手法はプラグイン・アンド・プレイ方式として設計されており,多種多様な代表手法と迅速かつ容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-11-11T12:01:18Z)
• Bilateral Cross-Modality Graph Matching Attention for Feature Fusion in Visual Question Answering [71.6781118080461]
  本稿では,視覚質問応答(VQA)タスクのためのグラフマッチング注意(GMA)ネットワークを提案する。 まず、画像用のグラフを構築するが、構文情報と埋め込み情報の両方の観点から質問用のグラフを構築する。 次に, 2段グラフエンコーダを用いてモダリティ内関係を探索し, 画像と質問の関係を推定するために, 注目に合う双方向のモダリティグラフを提示する。 実験により、我々のネットワークはGQAデータセットとVQA 2.0データセット上で最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2021-12-14T10:01:26Z)
• Video as Conditional Graph Hierarchy for Multi-Granular Question Answering [80.94367625007352]
  ビデオはフレームシーケンスで表現されるが、視覚要素はシーケンシャルではなく、セマンティック空間において階層的である。 本稿では,異なる粒度の視覚的事実をレベルワイドに織り込む条件付きグラフ階層として,動画をモデル化することを提案する。
  論文  参考訳（メタデータ） (2021-12-12T10:35:19Z)
• Cross-modal Knowledge Reasoning for Knowledge-based Visual Question Answering [27.042604046441426]
  KVQA(Knowledge-based Visual Question Answering)は、画像に関する質問に答えるために、可視コンテンツ以外の外部知識を必要とする。 本稿では,視覚的,意味的,事実的な視点から,複数の知識グラフによる画像を記述する。 我々は、モデルを一連のメモリベースの推論ステップに分解し、それぞれがGラーフベースのR ead、U pdate、C ontrolによって実行される。 我々は、FVQA、Visual7W-KB、OK-VQAを含む3つの人気のあるベンチマークデータセットに対して、最先端のパフォーマンスを新たに達成する。
  論文  参考訳（メタデータ） (2020-08-31T23:25:01Z)
• Location-aware Graph Convolutional Networks for Video Question Answering [85.44666165818484]
  そこで本研究では,ビデオ中のコンテンツを位置認識グラフとして表現することを提案する。 構築したグラフに基づいて,動作のカテゴリと時間的位置の両方を推測するためにグラフ畳み込みを提案する。 提案手法は,TGIF-QA,Youtube2Text-QA,MSVD-QAデータセットにおいて,最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-07T02:12:56Z)
• Mucko: Multi-Layer Cross-Modal Knowledge Reasoning for Fact-based Visual Question Answering [26.21870452615222]
  FVQAは、画像に関する質問に答えるために、可視コンテンツ以外の外部知識を必要とする。 問題指向で情報補完的な証拠をどうやって捉えるかは、この問題を解決する上で重要な課題である。 与えられた問題に最も関係のある異なる層から証拠を捉えるために,モダリティを考慮した異種グラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2020-06-16T11:03:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。