論文の概要: Unbiased Heterogeneous Scene Graph Generation with Relation-aware Message Passing Neural Network

• arxiv url: http://arxiv.org/abs/2212.00443v4
• Date: Thu, 6 Jul 2023 06:18:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 18:21:25.546111
• Title: Unbiased Heterogeneous Scene Graph Generation with Relation-aware Message Passing Neural Network
• Title（参考訳）: リレーショナルメッセージパッシングニューラルネットワークを用いた不均一シーングラフ生成
• Authors: Kanghoon Yoon, Kibum Kim, Jinyoung Moon, Chanyoung Park
• Abstract要約: 関係認識コンテキストをキャプチャする不偏不均質なシーングラフ生成(HetSGG)フレームワークを提案する。 我々は、画像のコンテキスト情報を集約するRMP(Relation-Aware Message Passing Neural Network)と呼ばれる新しいメッセージパッシング層を考案した。
• 参考スコア（独自算出の注目度）: 9.779600950401315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent scene graph generation (SGG) frameworks have focused on learning complex relationships among multiple objects in an image. Thanks to the nature of the message passing neural network (MPNN) that models high-order interactions between objects and their neighboring objects, they are dominant representation learning modules for SGG. However, existing MPNN-based frameworks assume the scene graph as a homogeneous graph, which restricts the context-awareness of visual relations between objects. That is, they overlook the fact that the relations tend to be highly dependent on the objects with which the relations are associated. In this paper, we propose an unbiased heterogeneous scene graph generation (HetSGG) framework that captures relation-aware context using message passing neural networks. We devise a novel message passing layer, called relation-aware message passing neural network (RMP), that aggregates the contextual information of an image considering the predicate type between objects. Our extensive evaluations demonstrate that HetSGG outperforms state-of-the-art methods, especially outperforming on tail predicate classes.
• Abstract（参考訳）: 最近のシーングラフ生成(SGG)フレームワークは、画像内の複数のオブジェクト間の複雑な関係を学習することに焦点を当てている。 オブジェクトとその隣接するオブジェクト間の高次相互作用をモデル化するメッセージパッシングニューラルネットワーク(MPNN)の性質のおかげで、SGGの代表的な表現学習モジュールとなっている。 しかし、既存のMPNNベースのフレームワークはシーングラフを均質なグラフとみなし、オブジェクト間の視覚的関係の文脈認識を制限する。 つまり、関係が関連している対象に大きく依存する傾向があるという事実を、彼らは見落としている。 本稿では,メッセージパッシングニューラルネットワークを用いて関係認識コンテキストをキャプチャする不偏不均一シーングラフ生成(hetsgg)フレームワークを提案する。 本稿では,オブジェクト間の述語型を考慮した画像の文脈情報を集約する,rmp(relation-aware message passing neural network)と呼ばれる新しいメッセージパッシング層を考案する。 以上の結果から,HetSGGは最先端の手法,特に尾部述語クラスでは性能に優れていた。

関連論文リスト

• Relation Rectification in Diffusion Model [64.84686527988809]
  本稿では,最初に生成できない関係を正確に表現するためにモデルを洗練することを目的とした,リレーション・リクティフィケーション(Relation Rectification)と呼ばれる新しいタスクを紹介する。 異種グラフ畳み込みネットワーク(HGCN)を利用した革新的な解を提案する。 軽量HGCNは、テキストエンコーダによって生成されたテキスト埋め込みを調整し、埋め込み空間におけるテキスト関係の正確な反映を保証する。
  論文  参考訳（メタデータ） (2024-03-29T15:54:36Z)
• Semantic Scene Graph Generation Based on an Edge Dual Scene Graph and Message Passing Neural Network [3.9280441311534653]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の関係をキャプチャし、構造化グラフベースの表現を生成する。 既存のSGG法は、詳細な関係を正確に予測する能力に制限がある。 本稿では,エッジデュアルシーングラフ生成(EdgeSGG)と呼ばれるマルチオブジェクト関係のモデリング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T12:36:52Z)
• Grounding Scene Graphs on Natural Images via Visio-Lingual Message Passing [17.63475613154152]
  本稿では,シーングラフの特定の意味的関係制約に従うオブジェクトを協調的にグラウンド化するためのフレームワークを提案する。 シーングラフは、画像内のすべてのオブジェクトとその意味的関係を表現するための効率的で構造化された方法である。
  論文  参考訳（メタデータ） (2022-11-03T16:46:46Z)
• HL-Net: Heterophily Learning Network for Scene Graph Generation [90.2766568914452]
  本稿では,シーングラフにおけるオブジェクト/リレーショナル間のホモフィリとヘテロフィリを探索する,新しいヘテロフィリズ学習ネットワーク(HL-Net)を提案する。 HL-Netは、適応的な再重み付け変換モジュールで、異なる層からの情報を適応的に統合し、オブジェクトのヘテロフィリとホモフィリの両方を利用する。 我々は、ビジュアルゲノム(VG)とオープンイメージ(OI)の2つの公開データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-05-03T06:00:29Z)
• Relation Regularized Scene Graph Generation [206.76762860019065]
  SGG(Scene Graph Generation)は、検出されたオブジェクトの上に構築され、オブジェクトのペアの視覚的関係を予測する。 本稿では,2つのオブジェクト間の関係を予測できる関係正規化ネットワーク(R2-Net)を提案する。 我々のR2-Netはオブジェクトラベルを効果的に洗練し、シーングラフを生成する。
  論文  参考訳（メタデータ） (2022-02-22T11:36:49Z)
• Hyper-relationship Learning Network for Scene Graph Generation [95.6796681398668]
  本稿では,シーングラフ生成のためのハイパーリレーショナル学習ネットワークHLNを提案する。 我々は最も人気のあるSGGデータセット、すなわちVisual Genomeデータセット上でHLNを評価する。 例えば、提案されたHLNは、関係ごとのリコールを11.3%から13.1%に改善し、画像毎のリコールを19.8%から34.9%に維持する。
  論文  参考訳（メタデータ） (2022-02-15T09:26:16Z)
• ORD: Object Relationship Discovery for Visual Dialogue Generation [60.471670447176656]
  視覚対話生成のためのオブジェクトインタラクションを保存するためのオブジェクト関係探索(ORD)フレームワークを提案する。 階層的なグラフ畳み込みネットワーク (HierGCN) が提案され、オブジェクトノードと近傍の関係を局所的に保持し、オブジェクトとオブジェクトの接続をグローバルに洗練する。 実験により,視覚的関係の文脈情報を活用することにより,対話の質を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2020-06-15T12:25:40Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。