論文の概要: SelfGraphVQA: A Self-Supervised Graph Neural Network for Scene-based Question Answering

• arxiv url: http://arxiv.org/abs/2310.01842v1
• Date: Tue, 3 Oct 2023 07:14:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 17:16:39.844167
• Title: SelfGraphVQA: A Self-Supervised Graph Neural Network for Scene-based Question Answering
• Title（参考訳）: SelfGraphVQA:Scene-based Question Answeringのための自己監督型グラフニューラルネットワーク
• Authors: Bruno Souza and Marius Aasan and Helio Pedrini and Ad\'in Ram\'irez Rivera
• Abstract要約: シーングラフはマルチモーダル画像解析の有用なツールとして登場した。 理想化されたアノテートシーングラフを利用する現在の手法は、画像から抽出された予測シーングラフを使用する場合、一般化に苦慮している。 本稿では,事前学習したシーングラフ生成器を用いて,入力画像からシーングラフを抽出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The intersection of vision and language is of major interest due to the increased focus on seamless integration between recognition and reasoning. Scene graphs (SGs) have emerged as a useful tool for multimodal image analysis, showing impressive performance in tasks such as Visual Question Answering (VQA). In this work, we demonstrate that despite the effectiveness of scene graphs in VQA tasks, current methods that utilize idealized annotated scene graphs struggle to generalize when using predicted scene graphs extracted from images. To address this issue, we introduce the SelfGraphVQA framework. Our approach extracts a scene graph from an input image using a pre-trained scene graph generator and employs semantically-preserving augmentation with self-supervised techniques. This method improves the utilization of graph representations in VQA tasks by circumventing the need for costly and potentially biased annotated data. By creating alternative views of the extracted graphs through image augmentations, we can learn joint embeddings by optimizing the informational content in their representations using an un-normalized contrastive approach. As we work with SGs, we experiment with three distinct maximization strategies: node-wise, graph-wise, and permutation-equivariant regularization. We empirically showcase the effectiveness of the extracted scene graph for VQA and demonstrate that these approaches enhance overall performance by highlighting the significance of visual information. This offers a more practical solution for VQA tasks that rely on SGs for complex reasoning questions.
• Abstract（参考訳）: 認識と推論のシームレスな統合に重点が置かれているため、視覚と言語の交点が大きな関心事となっている。 シーングラフ(SG)はマルチモーダル画像解析の有用なツールとして登場し、視覚質問応答(VQA)などのタスクで顕著なパフォーマンスを示している。 本稿では,vqaタスクにおけるシーングラフの有効性にもかかわらず,画像から抽出した予測シーングラフを用いた場合,理想化アノテートされたシーングラフを用いる方法が一般化に苦慮していることを示す。 この問題に対処するために、SelfGraphVQAフレームワークを紹介します。 本手法では,事前学習したシーングラフ生成器を用いて入力画像からシーングラフを抽出する。 本手法は,VQAタスクにおけるグラフ表現の利用を,コストと潜在的なバイアスのある注釈付きデータの必要性を回避することで改善する。 画像拡張によって抽出されたグラフの代替ビューを作成することにより、非正規化コントラストアプローチを用いて表現中の情報内容の最適化により、共同埋め込みを学習することができる。 sgsを用いて,ノード毎,グラフ毎,置換同変正規化という3つの異なる最大化戦略を実験した。 本稿では,VQAにおける抽出したシーングラフの有効性を実証的に示すとともに,これらの手法が視覚情報の重要性を強調し,全体的な性能を向上させることを実証する。 これは複雑な推論問題に対してSGに依存するVQAタスクに対して、より実用的なソリューションを提供する。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• From Pixels to Graphs: Open-Vocabulary Scene Graph Generation with Vision-Language Models [81.92098140232638]
  シーングラフ生成(SGG)は、下流の推論タスクのための中間グラフ表現に視覚シーンを解析することを目的としている。 既存の手法は、新しい視覚的関係の概念を持つシーングラフを生成するのに苦労している。 シークエンス生成に基づく新しいオープン語彙SGGフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-01T04:21:01Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• Fine-Grained is Too Coarse: A Novel Data-Centric Approach for Efficient Scene Graph Generation [0.7851536646859476]
  本稿では,関連性の生成を優先するSGG(Efficient Scene Graph Generation)の課題を紹介する。 我々は、人気のあるVisual Genomeデータセットのアノテーションに基づいて、新しいデータセットVG150をキュレートする。 我々は、このデータセットが通常SGGで使用されるものよりも高品質で多様なアノテーションを含んでいることを示す一連の実験を通して示す。
  論文  参考訳（メタデータ） (2023-05-30T00:55:49Z)
• Scene Graph Modification as Incremental Structure Expanding [61.84291817776118]
  本研究では,既存のシーングラフを自然言語クエリに基づいて更新する方法を学習するために,シーングラフ修正(SGM)に注目した。 インクリメンタル構造拡張(ISE)の導入によるグラフ拡張タスクとしてのSGM 既存のデータセットよりも複雑なクエリと大きなシーングラフを含む、挑戦的なデータセットを構築します。
  論文  参考訳（メタデータ） (2022-09-15T16:26:14Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• Bilateral Cross-Modality Graph Matching Attention for Feature Fusion in Visual Question Answering [71.6781118080461]
  本稿では,視覚質問応答(VQA)タスクのためのグラフマッチング注意(GMA)ネットワークを提案する。 まず、画像用のグラフを構築するが、構文情報と埋め込み情報の両方の観点から質問用のグラフを構築する。 次に, 2段グラフエンコーダを用いてモダリティ内関係を探索し, 画像と質問の関係を推定するために, 注目に合う双方向のモダリティグラフを提示する。 実験により、我々のネットワークはGQAデータセットとVQA 2.0データセット上で最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2021-12-14T10:01:26Z)
• Graphhopper: Multi-Hop Scene Graph Reasoning for Visual Question Answering [13.886692497676659]
  Graphhopperは知識グラフ推論、コンピュータビジョン、自然言語処理技術を統合することでタスクにアプローチする新しい手法である。 画像中のオブジェクトとその属性と相互関係を記述したシーングラフを導出する。 強化学習エージェントは、抽出されたシーングラフ上でマルチホップで自律的にナビゲートし、推論経路を生成するように訓練される。
  論文  参考訳（メタデータ） (2021-07-13T18:33:04Z)
• A Deep Local and Global Scene-Graph Matching for Image-Text Retrieval [4.159666152160874]
  シーングラフの提示は画像テキストマッチングの課題に適した方法である。 本稿では,最先端の手法を強化するローカル・グローバル・シーングラフマッチング(LGSGM)モデルを提案する。 Flickr30kデータセットのリコールを10%以上増やすことで,レベルの組み合わせによる改善により,ベースライン手法の性能を向上させることができる。
  論文  参考訳（メタデータ） (2021-06-04T10:33:14Z)
• Understanding the Role of Scene Graphs in Visual Question Answering [26.02889386248289]
  我々はGQAデータセット上で実験を行い、計数、構成性、高度な推論能力を必要とする質問の挑戦的なセットを示す。 我々は,シーングラフに使用する画像+質問アーキテクチャを採用し,未認識画像の様々なシーングラフ生成手法を評価し,人間の注釈と自動生成シーングラフを活用するためのトレーニングカリキュラムを提案する。 視覚質問応答におけるシーングラフの利用に関する多面的研究を行い,本研究を第一種とした。
  論文  参考訳（メタデータ） (2021-01-14T07:27:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。