論文の概要: Hyper-relationship Learning Network for Scene Graph Generation
- arxiv url: http://arxiv.org/abs/2202.07271v1
- Date: Tue, 15 Feb 2022 09:26:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-16 15:08:09.386589
- Title: Hyper-relationship Learning Network for Scene Graph Generation
- Title（参考訳）: シーングラフ生成のためのハイパーリレーショナル学習ネットワーク
- Authors: Yibing Zhan, Zhi Chen, Jun Yu, BaoSheng Yu, Dacheng Tao, Yong Luo
- Abstract要約: 本稿では,シーングラフ生成のためのハイパーリレーショナル学習ネットワークHLNを提案する。
我々は最も人気のあるSGGデータセット、すなわちVisual Genomeデータセット上でHLNを評価する。
例えば、提案されたHLNは、関係ごとのリコールを11.3%から13.1%に改善し、画像毎のリコールを19.8%から34.9%に維持する。
- 参考スコア（独自算出の注目度）: 95.6796681398668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating informative scene graphs from images requires integrating and
reasoning from various graph components, i.e., objects and relationships.
However, current scene graph generation (SGG) methods, including the unbiased
SGG methods, still struggle to predict informative relationships due to the
lack of 1) high-level inference such as transitive inference between
relationships and 2) efficient mechanisms that can incorporate all interactions
of graph components. To address the issues mentioned above, we devise a
hyper-relationship learning network, termed HLN, for SGG. Specifically, the
proposed HLN stems from hypergraphs and two graph attention networks (GATs) are
designed to infer relationships: 1) the object-relationship GAT or OR-GAT to
explore interactions between objects and relationships, and 2) the
hyper-relationship GAT or HR-GAT to integrate transitive inference of
hyper-relationships, i.e., the sequential relationships between three objects
for transitive reasoning. As a result, HLN significantly improves the
performance of scene graph generation by integrating and reasoning from object
interactions, relationship interactions, and transitive inference of
hyper-relationships. We evaluate HLN on the most popular SGG dataset, i.e., the
Visual Genome dataset, and the experimental results demonstrate its great
superiority over recent state-of-the-art methods. For example, the proposed HLN
improves the recall per relationship from 11.3\% to 13.1\%, and maintains the
recall per image from 19.8\% to 34.9\%. We will release the source code and
pretrained models on GitHub.
- Abstract（参考訳）: 画像から情報的なシーングラフを生成するには、様々なグラフコンポーネント、すなわちオブジェクトとリレーションシップの統合と推論が必要である。
しかし,未偏化sgg法を含む現在のシーングラフ生成法(sgg)では,情報的関係の予測が困難である。
1)関係間の推移的推論などのハイレベルな推論
2)グラフコンポーネントのすべての相互作用を組み込む効率的なメカニズム。
上記の課題に対処するため,SGGのための高関係学習ネットワークHLNを開発した。
具体的には、提案したHLNはハイパーグラフと2つのグラフアテンションネットワーク(GAT)が関係を推測するために設計されている。
1)対象関係GAT又はOR-GATは、対象と関係の相互作用を探索し、
2)超関係性 GAT あるいは HR-GAT は、過関係性の推移的推論、すなわち、過関係性推論のための3つの対象間の逐次的関係を統合する。
その結果、HLNは、オブジェクトの相互作用、関係の相互作用、超関係性の推移的推論の統合と推論により、シーングラフ生成の性能を著しく向上させる。
我々は、最も人気のあるsggデータセット、すなわち視覚ゲノムデータセット上でのhlnを評価し、最近の最先端手法よりもその優れた性能を示す実験結果を示す。
例えば、提案するhlnはリコール毎の関係を11.3\%から13.1\%に改善し、リコール毎のイメージを19.8\%から34.9\%に維持する。
ソースコードと事前トレーニングされたモデルをGitHubでリリースします。
関連論文リスト
- Unbiased Scene Graph Generation by Type-Aware Message Passing on Heterogeneous and Dual Graphs [1.0609815608017066]
これらの問題に対処するために,非バイアスのシーングラフ生成(TA-HDG)を提案する。
対話型および非対話型関係をモデル化するために,対話型グラフ構築法を提案する。
Type-Aware Message Passingは、複雑なインタラクションの理解を強化する。
論文 参考訳（メタデータ） (2024-11-20T12:54:47Z) - Semantic Scene Graph Generation Based on an Edge Dual Scene Graph and
Message Passing Neural Network [3.9280441311534653]
シーングラフ生成(SGG)は、画像内のオブジェクト間の関係をキャプチャし、構造化グラフベースの表現を生成する。
既存のSGG法は、詳細な関係を正確に予測する能力に制限がある。
本稿では,エッジデュアルシーングラフ生成(EdgeSGG)と呼ばれるマルチオブジェクト関係のモデリング手法を提案する。
論文 参考訳（メタデータ） (2023-11-02T12:36:52Z) - Unbiased Heterogeneous Scene Graph Generation with Relation-aware
Message Passing Neural Network [9.779600950401315]
関係認識コンテキストをキャプチャする不偏不均質なシーングラフ生成(HetSGG)フレームワークを提案する。
我々は、画像のコンテキスト情報を集約するRMP(Relation-Aware Message Passing Neural Network)と呼ばれる新しいメッセージパッシング層を考案した。
論文 参考訳（メタデータ） (2022-12-01T11:25:36Z) - HL-Net: Heterophily Learning Network for Scene Graph Generation [90.2766568914452]
本稿では,シーングラフにおけるオブジェクト/リレーショナル間のホモフィリとヘテロフィリを探索する,新しいヘテロフィリズ学習ネットワーク(HL-Net)を提案する。
HL-Netは、適応的な再重み付け変換モジュールで、異なる層からの情報を適応的に統合し、オブジェクトのヘテロフィリとホモフィリの両方を利用する。
我々は、ビジュアルゲノム(VG)とオープンイメージ(OI)の2つの公開データセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-05-03T06:00:29Z) - Relation Regularized Scene Graph Generation [206.76762860019065]
SGG(Scene Graph Generation)は、検出されたオブジェクトの上に構築され、オブジェクトのペアの視覚的関係を予測する。
本稿では,2つのオブジェクト間の関係を予測できる関係正規化ネットワーク(R2-Net)を提案する。
我々のR2-Netはオブジェクトラベルを効果的に洗練し、シーングラフを生成する。
論文 参考訳（メタデータ） (2022-02-22T11:36:49Z) - Not All Relations are Equal: Mining Informative Labels for Scene Graph
Generation [48.21846438269506]
シーングラフ生成(SGG)は、オブジェクトのペア間の多様な相互作用をキャプチャすることを目的としている。
既存のSGG法では、トレーニングデータに様々なバイアスがあるため、視覚的およびテキスト的相関に関する複雑な推論が得られない。
本稿では,その情報性に基づいて関係ラベルを利用するSGGトレーニングのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-26T14:34:12Z) - ConsNet: Learning Consistency Graph for Zero-Shot Human-Object
Interaction Detection [101.56529337489417]
画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。
我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。
提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
論文 参考訳（メタデータ） (2020-08-14T09:11:18Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳（メタデータ） (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。