論文の概要: Devil's on the Edges: Selective Quad Attention for Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2304.03495v1
• Date: Fri, 7 Apr 2023 06:33:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-10 12:53:52.623790
• Title: Devil's on the Edges: Selective Quad Attention for Scene Graph Generation
• Title（参考訳）: devil's on the edges: シーングラフ生成のための選択的クワッドアテンション
• Authors: Deunsol Jung, Sanghyun Kim, Won Hwa Kim, Minsu Cho
• Abstract要約: シーングラフ生成は、ノードとエッジがそれぞれオブジェクトとその関係を表現するように、画像から意味グラフ構造を構築することを目的としている。 このタスクの大きな課題の1つは、画像に物体や関係を散らかすことにある。 本稿では,関係するオブジェクトのペアを選択し,さまざまなコンテキスト相互作用を通じて曖昧にするためのSQUAT(Selective Quad Attention Network)を提案する。
• 参考スコア（独自算出の注目度）: 31.625716516623115
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Scene graph generation aims to construct a semantic graph structure from an image such that its nodes and edges respectively represent objects and their relationships. One of the major challenges for the task lies in the presence of distracting objects and relationships in images; contextual reasoning is strongly distracted by irrelevant objects or backgrounds and, more importantly, a vast number of irrelevant candidate relations. To tackle the issue, we propose the Selective Quad Attention Network (SQUAT) that learns to select relevant object pairs and disambiguate them via diverse contextual interactions. SQUAT consists of two main components: edge selection and quad attention. The edge selection module selects relevant object pairs, i.e., edges in the scene graph, which helps contextual reasoning, and the quad attention module then updates the edge features using both edge-to-node and edge-to-edge cross-attentions to capture contextual information between objects and object pairs. Experiments demonstrate the strong performance and robustness of SQUAT, achieving the state of the art on the Visual Genome and Open Images v6 benchmarks.
• Abstract（参考訳）: シーングラフ生成は、そのノードとエッジがそれぞれオブジェクトとその関係を表すように、イメージからセマンティックグラフ構造を構築することを目的としている。 このタスクの大きな課題の1つは、画像中のオブジェクトや関係を逸脱させることである;文脈的推論は無関係なオブジェクトや背景に強く気を取られ、さらに重要なことは、無関係な候補関係が多数存在することである。 この問題に対処するため,我々は,関連するオブジェクトペアを選択し,多様なコンテキストインタラクションを通じて曖昧さを和らげるように学習する選択的クワッドアテンションネットワーク(squat)を提案する。 SQUATはエッジ選択とクワッドアテンションという2つの主要コンポーネントで構成されている。 エッジ選択モジュールは関連するオブジェクトペア、すなわちコンテキスト推論を支援するシーングラフのエッジを選択し、クワッドアテンションモジュールはエッジツーノードとエッジツーエッジの両方のクロスアテンションを使用してエッジ機能を更新して、オブジェクトとオブジェクトペア間のコンテキスト情報をキャプチャする。 実験は、squatの強力な性能と堅牢性を示し、視覚ゲノムとopen images v6ベンチマークの最先端を達成する。

関連論文リスト

• Ask Questions with Double Hints: Visual Question Generation with Answer-awareness and Region-reference [107.53380946417003]
  本稿では,応答認識と領域参照を用いた視覚的質問生成のための新しい学習パラダイムを提案する。 我々は、追加の人間のアノテーションを導入することなく、視覚的ヒントを自己学習する簡単な手法を開発した。
  論文  参考訳（メタデータ） (2024-07-06T15:07:32Z)
• Composing Object Relations and Attributes for Image-Text Matching [70.47747937665987]
  この研究は、シーングラフを利用して、リレーショナルエッジで相互接続されたオブジェクトや属性のノードでキャプションを表現するデュアルエンコーダ画像テキストマッチングモデルを導入する。 本モデルは,オブジェクト属性とオブジェクトオブジェクトの意味関係を効率的に符号化し,ロバストかつ高速な性能システムを実現する。
  論文  参考訳（メタデータ） (2024-06-17T17:56:01Z)
• SceneGATE: Scene-Graph based co-Attention networks for TExt visual question answering [2.8974040580489198]
  テキストVQAのためのScene Graphベースのコアテンションネットワーク(SceneGATE)を提案する。 対象物間の意味的関係、光学文字認識(OCR)トークンおよび質問語を明らかにする。 これはTextVQAベースのシーングラフによって実現され、画像の基盤となるセマンティクスを検出する。
  論文  参考訳（メタデータ） (2022-12-16T05:10:09Z)
• Grounding Scene Graphs on Natural Images via Visio-Lingual Message Passing [17.63475613154152]
  本稿では,シーングラフの特定の意味的関係制約に従うオブジェクトを協調的にグラウンド化するためのフレームワークを提案する。 シーングラフは、画像内のすべてのオブジェクトとその意味的関係を表現するための効率的で構造化された方法である。
  論文  参考訳（メタデータ） (2022-11-03T16:46:46Z)
• Image Semantic Relation Generation [0.76146285961466]
  シーングラフは複雑な画像情報を排除し、意味レベルの関係を利用して視覚モデルのバイアスを修正することができる。 本研究では,画像意味関係生成(ISRG)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T16:15:19Z)
• Bilateral Cross-Modality Graph Matching Attention for Feature Fusion in Visual Question Answering [71.6781118080461]
  本稿では,視覚質問応答(VQA)タスクのためのグラフマッチング注意(GMA)ネットワークを提案する。 まず、画像用のグラフを構築するが、構文情報と埋め込み情報の両方の観点から質問用のグラフを構築する。 次に, 2段グラフエンコーダを用いてモダリティ内関係を探索し, 画像と質問の関係を推定するために, 注目に合う双方向のモダリティグラフを提示する。 実験により、我々のネットワークはGQAデータセットとVQA 2.0データセット上で最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2021-12-14T10:01:26Z)
• Segmentation-grounded Scene Graph Generation [47.34166260639392]
  ピクセルレベルセグメンテーションに基づくシーングラフ生成のためのフレームワークを提案する。 私たちのフレームワークは、基盤となるシーングラフ生成方法に無知です。 ターゲットデータセットと補助データセットの両方でマルチタスクで学習される。
  論文  参考訳（メタデータ） (2021-04-29T08:54:08Z)
• ORD: Object Relationship Discovery for Visual Dialogue Generation [60.471670447176656]
  視覚対話生成のためのオブジェクトインタラクションを保存するためのオブジェクト関係探索(ORD)フレームワークを提案する。 階層的なグラフ畳み込みネットワーク (HierGCN) が提案され、オブジェクトノードと近傍の関係を局所的に保持し、オブジェクトとオブジェクトの接続をグローバルに洗練する。 実験により,視覚的関係の文脈情報を活用することにより,対話の質を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2020-06-15T12:25:40Z)
• Expressing Objects just like Words: Recurrent Visual Embedding for Image-Text Matching [102.62343739435289]
  既存の画像テキストマッチングアプローチは、テキストと画像の各独立オブジェクト間の親和性をキャプチャして集約することにより、画像テキストペアの類似性を推測する。 本稿では,リカレントニューラルネットワーク(RNN)を用いて画像と文を対称に処理するDual Path Recurrent Neural Network (DP-RNN)を提案する。 我々のモデルはFlickr30Kデータセットの最先端性能とMS-COCOデータセットの競合性能を達成する。
  論文  参考訳（メタデータ） (2020-02-20T00:51:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。