論文の概要: Semantic Scene Graph Generation Based on an Edge Dual Scene Graph and Message Passing Neural Network

• arxiv url: http://arxiv.org/abs/2311.01192v1
• Date: Thu, 2 Nov 2023 12:36:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 13:52:10.683424
• Title: Semantic Scene Graph Generation Based on an Edge Dual Scene Graph and Message Passing Neural Network
• Title（参考訳）: エッジ二重シーングラフとメッセージパッシングニューラルネットワークを用いた意味シーングラフ生成
• Authors: Hyeongjin Kim, Sangwon Kim, Jong Taek Lee, Byoung Chul Ko
• Abstract要約: シーングラフ生成(SGG)は、画像内のオブジェクト間の関係をキャプチャし、構造化グラフベースの表現を生成する。 既存のSGG法は、詳細な関係を正確に予測する能力に制限がある。 本稿では,エッジデュアルシーングラフ生成(EdgeSGG)と呼ばれるマルチオブジェクト関係のモデリング手法を提案する。
• 参考スコア（独自算出の注目度）: 3.9280441311534653
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Along with generative AI, interest in scene graph generation (SGG), which comprehensively captures the relationships and interactions between objects in an image and creates a structured graph-based representation, has significantly increased in recent years. However, relying on object-centric and dichotomous relationships, existing SGG methods have a limited ability to accurately predict detailed relationships. To solve these problems, a new approach to the modeling multiobject relationships, called edge dual scene graph generation (EdgeSGG), is proposed herein. EdgeSGG is based on a edge dual scene graph and Dual Message Passing Neural Network (DualMPNN), which can capture rich contextual interactions between unconstrained objects. To facilitate the learning of edge dual scene graphs with a symmetric graph structure, the proposed DualMPNN learns both object- and relation-centric features for more accurately predicting relation-aware contexts and allows fine-grained relational updates between objects. A comparative experiment with state-of-the-art (SoTA) methods was conducted using two public datasets for SGG operations and six metrics for three subtasks. Compared with SoTA approaches, the proposed model exhibited substantial performance improvements across all SGG subtasks. Furthermore, experiment on long-tail distributions revealed that incorporating the relationships between objects effectively mitigates existing long-tail problems.
• Abstract（参考訳）: 生成AIとともに、画像内のオブジェクト間の関係や相互作用を包括的にキャプチャし、構造化グラフベースの表現を生成するシーングラフ生成(SGG)への関心が近年著しく高まっている。 しかしながら、オブジェクト中心関係とディコトナス関係に依存する既存のsgg法は、詳細な関係を正確に予測する能力に制限がある。 これらの問題を解決するために,edge dual scene graph generation (edgesgg) と呼ばれる多目的関係モデリングの新しいアプローチが提案されている。 edgesggは、エッジのデュアルシーングラフとデュアルメッセージパッシングニューラルネットワーク(dualmpnn)をベースとしている。 対称グラフ構造を持つエッジデュアルシーングラフの学習を容易にするため,提案するDualMPNNでは,オブジェクト間の関係をより正確に予測し,オブジェクト間の微粒な関係更新を可能にする。 SGG操作のための2つの公開データセットと3つのサブタスクのための6つのメトリクスを用いて、最先端(SoTA)手法の比較実験を行った。 SoTAのアプローチと比較すると,提案手法は全SGGサブタスクに対して大幅な性能向上を示した。 さらに, 長期分布実験により, オブジェクト間の関係を組み込むことで, 既存の長期問題を効果的に軽減できることが判明した。

関連論文リスト

• Scene Graph Generation Strategy with Co-occurrence Knowledge and Learnable Term Frequency [3.351553095054309]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の関係をグラフ構造として表現する。 これまでの研究は、SGG生成時の物体の共起を反映しなかった。 本稿では、オブジェクト間の共起知識と学習可能な用語の周波数逆文書頻度を反映したCooKを提案する。
  論文  参考訳（メタデータ） (2024-05-21T09:56:48Z)
• Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation [153.92387500677023]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。 また,グラフ表現学習のための自己指導型事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:36:38Z)
• Unbiased Heterogeneous Scene Graph Generation with Relation-aware Message Passing Neural Network [9.779600950401315]
  関係認識コンテキストをキャプチャする不偏不均質なシーングラフ生成(HetSGG)フレームワークを提案する。 我々は、画像のコンテキスト情報を集約するRMP(Relation-Aware Message Passing Neural Network)と呼ばれる新しいメッセージパッシング層を考案した。
  論文  参考訳（メタデータ） (2022-12-01T11:25:36Z)
• HL-Net: Heterophily Learning Network for Scene Graph Generation [90.2766568914452]
  本稿では,シーングラフにおけるオブジェクト/リレーショナル間のホモフィリとヘテロフィリを探索する,新しいヘテロフィリズ学習ネットワーク(HL-Net)を提案する。 HL-Netは、適応的な再重み付け変換モジュールで、異なる層からの情報を適応的に統合し、オブジェクトのヘテロフィリとホモフィリの両方を利用する。 我々は、ビジュアルゲノム(VG)とオープンイメージ(OI)の2つの公開データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-05-03T06:00:29Z)
• Relation Regularized Scene Graph Generation [206.76762860019065]
  SGG(Scene Graph Generation)は、検出されたオブジェクトの上に構築され、オブジェクトのペアの視覚的関係を予測する。 本稿では,2つのオブジェクト間の関係を予測できる関係正規化ネットワーク(R2-Net)を提案する。 我々のR2-Netはオブジェクトラベルを効果的に洗練し、シーングラフを生成する。
  論文  参考訳（メタデータ） (2022-02-22T11:36:49Z)
• Hyper-relationship Learning Network for Scene Graph Generation [95.6796681398668]
  本稿では,シーングラフ生成のためのハイパーリレーショナル学習ネットワークHLNを提案する。 我々は最も人気のあるSGGデータセット、すなわちVisual Genomeデータセット上でHLNを評価する。 例えば、提案されたHLNは、関係ごとのリコールを11.3%から13.1%に改善し、画像毎のリコールを19.8%から34.9%に維持する。
  論文  参考訳（メタデータ） (2022-02-15T09:26:16Z)
• Semantic Compositional Learning for Low-shot Scene Graph Generation [122.51930904132685]
  多くのシーングラフ生成(SGG)モデルは、トレーニングに限定された注釈付き関係トリプルのみを使用する。 本稿では,新たな意味論的構成学習戦略を提案する。 最近の3つのSGGモデルでは、我々の戦略を追加することで、その性能が50%近く向上する。
  論文  参考訳（メタデータ） (2021-08-19T10:13:55Z)
• Zero-Shot Video Object Segmentation via Attentive Graph Neural Networks [150.5425122989146]
  本研究は、ゼロショットビデオオブジェクトセグメンテーション(ZVOS)のための新しい注意グラフニューラルネットワーク(AGNN)を提案する。 AGNNは、フレームをノードとして効率的に表現し、任意のフレームペア間の関係をエッジとして表現するために、完全に連結されたグラフを構築している。 3つのビデオセグメンテーションデータセットの実験結果は、AGNNがそれぞれのケースに新しい最先端を設定していることを示している。
  論文  参考訳（メタデータ） (2020-01-19T10:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。