論文の概要: Bridging Knowledge Graphs to Generate Scene Graphs

• arxiv url: http://arxiv.org/abs/2001.02314v4
• Date: Sat, 18 Jul 2020 10:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 20:52:36.132863
• Title: Bridging Knowledge Graphs to Generate Scene Graphs
• Title（参考訳）: 知識グラフをブリッジしてシーングラフを生成する
• Authors: Alireza Zareian, Svebor Karaman, Shih-Fu Chang
• Abstract要約: 本稿では,2つのグラフ間の情報伝達を反復的に行う新しいグラフベースニューラルネットワークを提案する。 我々のグラフブリッジネットワークであるGB-Netは、エッジとノードを連続的に推論し、相互接続されたシーンとコモンセンスグラフのリッチでヘテロジニアスな構造を同時に活用し、洗練する。
• 参考スコア（独自算出の注目度）: 49.69377653925448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene graphs are powerful representations that parse images into their abstract semantic elements, i.e., objects and their interactions, which facilitates visual comprehension and explainable reasoning. On the other hand, commonsense knowledge graphs are rich repositories that encode how the world is structured, and how general concepts interact. In this paper, we present a unified formulation of these two constructs, where a scene graph is seen as an image-conditioned instantiation of a commonsense knowledge graph. Based on this new perspective, we re-formulate scene graph generation as the inference of a bridge between the scene and commonsense graphs, where each entity or predicate instance in the scene graph has to be linked to its corresponding entity or predicate class in the commonsense graph. To this end, we propose a novel graph-based neural network that iteratively propagates information between the two graphs, as well as within each of them, while gradually refining their bridge in each iteration. Our Graph Bridging Network, GB-Net, successively infers edges and nodes, allowing to simultaneously exploit and refine the rich, heterogeneous structure of the interconnected scene and commonsense graphs. Through extensive experimentation, we showcase the superior accuracy of GB-Net compared to the most recent methods, resulting in a new state of the art. We publicly release the source code of our method.
• Abstract（参考訳）: シーングラフは、イメージを抽象的な意味要素、すなわちオブジェクトとその相互作用に解析する強力な表現であり、視覚的理解と説明可能な推論を容易にする。 一方、コモンセンスナレッジグラフは、世界がどのように構成され、一般的な概念がどのように相互作用するかをエンコードするリッチリポジトリである。 本稿では,これらの2つの構造を統一的に定式化し,シーングラフをコモンセンス知識グラフのイメージ条件付インスタンス化とみなす。 この新たな視点に基づき,シーングラフ生成をシーングラフとコモンセンスグラフの橋渡しとして再計算し,シーングラフの各エンティティまたは述語インスタンスは、コモンセンスグラフ内の対応するエンティティまたは述語クラスにリンクする必要がある。 そこで本研究では,2つのグラフ間の情報を反復的に伝播するグラフベースニューラルネットワークを提案する。 我々のグラフブリッジネットワークであるGB-Netは、エッジとノードを連続的に推論し、相互接続されたシーンと常識グラフのリッチでヘテロジニアスな構造を同時に活用し、洗練します。 広範な実験により,最新の手法と比較してgb-netの精度が向上し,新たな技術が得られた。 我々は,我々のメソッドのソースコードを公開している。

関連論文リスト

• Contrastive Learning for Non-Local Graphs with Multi-Resolution Structural Views [1.4445779250002606]
  本稿では,グラフ上の拡散フィルタを統合する新しい多視点コントラスト学習手法を提案する。 複数のグラフビューを拡張として組み込むことで、異種グラフの構造的等価性を捉える。
  論文  参考訳（メタデータ） (2023-08-19T17:42:02Z)
• SynGraphy: Succinct Summarisation of Large Networks via Small Synthetic Representative Graphs [4.550112751061436]
  大規模ネットワークデータセットの構造を視覚的に要約するSynGraphyについて述べる。 入力グラフに類似した構造特性を持つために生成されたより小さなグラフを描画する。
  論文  参考訳（メタデータ） (2023-02-15T16:00:15Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph Similarity Learning [65.1042892570989]
  自己教師付きグラフ類似性学習のためのコントラストグラフマッチングネットワーク(CGMN)を提案する。 我々は,効率的なノード表現学習のために,クロスビューインタラクションとクロスグラフインタラクションという2つの戦略を用いる。 我々はノード表現をグラフ類似性計算のためのプール演算によりグラフレベル表現に変換する。
  論文  参考訳（メタデータ） (2022-05-30T13:20:26Z)
• Edge but not Least: Cross-View Graph Pooling [76.71497833616024]
  本稿では,重要なグラフ構造情報を活用するために,クロスビューグラフプーリング(Co-Pooling)手法を提案する。 クロスビュー相互作用、エッジビュープーリング、ノードビュープーリングにより、相互にシームレスに強化され、より情報的なグラフレベルの表現が学習される。
  論文  参考訳（メタデータ） (2021-09-24T08:01:23Z)
• A Deep Local and Global Scene-Graph Matching for Image-Text Retrieval [4.159666152160874]
  シーングラフの提示は画像テキストマッチングの課題に適した方法である。 本稿では,最先端の手法を強化するローカル・グローバル・シーングラフマッチング(LGSGM)モデルを提案する。 Flickr30kデータセットのリコールを10%以上増やすことで,レベルの組み合わせによる改善により,ベースライン手法の性能を向上させることができる。
  論文  参考訳（メタデータ） (2021-06-04T10:33:14Z)
• Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
  グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。 標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。 総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-08T19:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。