論文の概要: SA-VQA: Structured Alignment of Visual and Semantic Representations for Visual Question Answering

• arxiv url: http://arxiv.org/abs/2201.10654v1
• Date: Tue, 25 Jan 2022 22:26:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 13:21:29.965000
• Title: SA-VQA: Structured Alignment of Visual and Semantic Representations for Visual Question Answering
• Title（参考訳）: SA-VQA:視覚質問応答のための視覚的・意味的表現の構造的アライメント
• Authors: Peixi Xiong, Quanzeng You, Pei Yu, Zicheng Liu, Ying Wu
• Abstract要約: 本稿では,視覚とテキストのグラフ表現を扱う構造化アライメントを提案する。 実験結果に示すように,このような構造的アライメントは推論性能を向上させる。 提案したモデルは、事前トレーニングなしで、GQAデータセット上で最先端の手法を上回り、VQA-v2データセット上で非事前トレーニングされた最先端の手法を上回ります。
• 参考スコア（独自算出の注目度）: 29.96818189046649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual Question Answering (VQA) attracts much attention from both industry and academia. As a multi-modality task, it is challenging since it requires not only visual and textual understanding, but also the ability to align cross-modality representations. Previous approaches extensively employ entity-level alignments, such as the correlations between the visual regions and their semantic labels, or the interactions across question words and object features. These attempts aim to improve the cross-modality representations, while ignoring their internal relations. Instead, we propose to apply structured alignments, which work with graph representation of visual and textual content, aiming to capture the deep connections between the visual and textual modalities. Nevertheless, it is nontrivial to represent and integrate graphs for structured alignments. In this work, we attempt to solve this issue by first converting different modality entities into sequential nodes and the adjacency graph, then incorporating them for structured alignments. As demonstrated in our experimental results, such a structured alignment improves reasoning performance. In addition, our model also exhibits better interpretability for each generated answer. The proposed model, without any pretraining, outperforms the state-of-the-art methods on GQA dataset, and beats the non-pretrained state-of-the-art methods on VQA-v2 dataset.
• Abstract（参考訳）: VQA(Visual Question Answering)は、業界と学術の両方から注目を集めている。 マルチモダリティタスクとしては、視覚的およびテキスト的理解だけでなく、モダリティ間の表現の整合性も要求されるため、難しい。 以前のアプローチでは、視覚領域とその意味ラベル間の相関、質問語とオブジェクトの特徴間の相互作用など、エンティティレベルのアライメントを幅広く採用していた。 これらの試みは、内部関係を無視しながら、モダリティ間の表現を改善することを目的としている。 そこで本研究では,視覚的・テキスト的内容のグラフ表現を扱う構造化アライメントを適用し,視覚的・テキスト的モダリティ間の深い関係を捉えることを目的とする。 それでも、構造化アライメントのグラフを表現し、統合することは自明ではない。 本稿では,まず異なるモダリティエンティティを逐次ノードと隣接グラフに変換し,それらを構造化アライメントに組み込むことにより,この問題を解決しようとする。 実験結果が示すように,このような構造的アライメントは推論性能を向上させる。 さらに,本モデルでは,各回答の解釈性も向上した。 提案モデルは,事前トレーニングを行わずに,gqaデータセットの最先端メソッドを上回り,vqa-v2データセットの事前訓練されていない最先端メソッドを上回っている。

関連論文リスト

• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• AlignVE: Visual Entailment Recognition Based on Alignment Relations [32.190603887676666]
  視覚的エンテーメント(VE)とは、仮説テキストのセマンティクスが所定の前提画像から推測できるかどうかを認識することである。 AlignVEと呼ばれる新しいアーキテクチャは、関係性相互作用法による視覚的包絡問題を解決するために提案されている。 我々のアーキテクチャはSNLI-VEデータセット上で72.45%の精度に達し、同じ設定で以前のコンテントベースモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-11-16T07:52:24Z)
• TokenFlow: Rethinking Fine-grained Cross-modal Alignment in Vision-Language Retrieval [30.429340065755436]
  我々は, 細粒度クロスモーダルアライメントのためのモデルに依存しない新しい定式化を考案した。 最適輸送理論に着想を得て,提案手法のインスタンス化であるemphTokenFlowを紹介した。
  論文  参考訳（メタデータ） (2022-09-28T04:11:05Z)
• Scene Graph Modification as Incremental Structure Expanding [61.84291817776118]
  本研究では,既存のシーングラフを自然言語クエリに基づいて更新する方法を学習するために,シーングラフ修正(SGM)に注目した。 インクリメンタル構造拡張(ISE)の導入によるグラフ拡張タスクとしてのSGM 既存のデータセットよりも複雑なクエリと大きなシーングラフを含む、挑戦的なデータセットを構築します。
  論文  参考訳（メタデータ） (2022-09-15T16:26:14Z)
• MGA-VQA: Multi-Granularity Alignment for Visual Question Answering [75.55108621064726]
  視覚的な質問に答えることを学ぶことは、マルチモーダル入力が2つの特徴空間内にあるため、難しい作業である。 視覚質問応答タスク(MGA-VQA)のための多言語アライメントアーキテクチャを提案する。 我々のモデルはアライメントを異なるレベルに分割し、追加のデータやアノテーションを必要とせずにより良い相関関係を学習します。
  論文  参考訳（メタデータ） (2022-01-25T22:30:54Z)
• Bilateral Cross-Modality Graph Matching Attention for Feature Fusion in Visual Question Answering [71.6781118080461]
  本稿では,視覚質問応答(VQA)タスクのためのグラフマッチング注意(GMA)ネットワークを提案する。 まず、画像用のグラフを構築するが、構文情報と埋め込み情報の両方の観点から質問用のグラフを構築する。 次に, 2段グラフエンコーダを用いてモダリティ内関係を探索し, 画像と質問の関係を推定するために, 注目に合う双方向のモダリティグラフを提示する。 実験により、我々のネットワークはGQAデータセットとVQA 2.0データセット上で最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2021-12-14T10:01:26Z)
• Dynamic Language Binding in Relational Visual Reasoning [67.85579756590478]
  言語結合型オブジェクトグラフネットワークは,視覚領域とテキスト領域の両方にわたる動的関係構造を持つ最初のニューラル推論手法である。 本手法は,複数の対象関係が関係する高度な質問応答タスクにおいて,他の手法よりも優れる。
  論文  参考訳（メタデータ） (2020-04-30T06:26:20Z)
• Iterative Context-Aware Graph Inference for Visual Dialog [126.016187323249]
  本稿では,新しいコンテキスト認識グラフ(CAG)ニューラルネットワークを提案する。 グラフの各ノードは、オブジェクトベース(視覚)と履歴関連(テキスト)コンテキスト表現の両方を含む、共同意味機能に対応している。
  論文  参考訳（メタデータ） (2020-04-05T13:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。