論文の概要: An Empirical Study of Retrieval-enhanced Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2206.00362v4
• Date: Mon, 18 Sep 2023 00:31:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 01:50:46.206971
• Title: An Empirical Study of Retrieval-enhanced Graph Neural Networks
• Title（参考訳）: 検索型グラフニューラルネットワークの実証的研究
• Authors: Dingmin Wang, Shengchao Liu, Hanchen Wang, Bernardo Cuenca Grau, Linfeng Song, Jian Tang, Song Le, Qi Liu
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ表現学習に有効なツールである。 本稿では,グラフニューラルネットワークモデルの選択に非依存な GraphRETRIEVAL という検索強化方式を提案する。 我々は13のデータセットに対して包括的な実験を行い、GRAPHRETRIEVALが既存のGNNよりも大幅に改善されていることを観察した。
• 参考スコア（独自算出の注目度）: 48.99347386689936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) are effective tools for graph representation learning. Most GNNs rely on a recursive neighborhood aggregation scheme, named message passing, thereby their theoretical expressive power is limited to the first-order Weisfeiler-Lehman test (1-WL). An effective approach to this challenge is to explicitly retrieve some annotated examples used to enhance GNN models. While retrieval-enhanced models have been proved to be effective in many language and vision domains, it remains an open question how effective retrieval-enhanced GNNs are when applied to graph datasets. Motivated by this, we want to explore how the retrieval idea can help augment the useful information learned in the graph neural networks, and we design a retrieval-enhanced scheme called GRAPHRETRIEVAL, which is agnostic to the choice of graph neural network models. In GRAPHRETRIEVAL, for each input graph, similar graphs together with their ground-true labels are retrieved from an existing database. Thus they can act as a potential enhancement to complete various graph property predictive tasks. We conduct comprehensive experiments over 13 datasets, and we observe that GRAPHRETRIEVAL is able to reach substantial improvements over existing GNNs. Moreover, our empirical study also illustrates that retrieval enhancement is a promising remedy for alleviating the long-tailed label distribution problem.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ表現学習に有効なツールである。 ほとんどのGNNは、メッセージパッシングと呼ばれる再帰的近傍アグリゲーションスキームに依存しているので、その理論的表現力は1階のWeisfeiler-Lehmanテスト(1-WL)に限られる。 この課題に対する効果的なアプローチは、GNNモデルの拡張に使われる注釈付きサンプルを明示的に検索することである。 検索強化モデルは、多くの言語や視覚領域で有効であることが証明されているが、グラフデータセットに適用した場合の検索強化GNNの有効性は、未解決のままである。 そこで我々は,グラフニューラルネットワークで学習した有用な情報を増やすために,検索アイデアがどのように役立つかを探求し,グラフニューラルネットワークモデルの選択に非依存な GraphRETRIEVAL と呼ばれる検索強化スキームを設計する。 GraphRETRIEVALでは、各入力グラフに対して、類似グラフとそれらの基底となるラベルを既存のデータベースから検索する。 したがって、様々なグラフプロパティ予測タスクを完了するための潜在的な拡張として機能することができる。 我々は13のデータセットに対して包括的な実験を行い、GRAPHRETRIEVALが既存のGNNよりも大幅に改善されていることを観察した。 また,本研究では,検索の強化が長期ラベル分布問題の軽減に有望な改善であることを示す。

関連論文リスト

• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph Similarity Learning [65.1042892570989]
  自己教師付きグラフ類似性学習のためのコントラストグラフマッチングネットワーク(CGMN)を提案する。 我々は,効率的なノード表現学習のために,クロスビューインタラクションとクロスグラフインタラクションという2つの戦略を用いる。 我々はノード表現をグラフ類似性計算のためのプール演算によりグラフレベル表現に変換する。
  論文  参考訳（メタデータ） (2022-05-30T13:20:26Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Stochastic Iterative Graph Matching [11.128153575173213]
  本稿では,グラフマッチング問題に対処する新しいモデルであるIterative Graph MAtchingを提案する。 我々のモデルはグラフ対のマッチングの分布を定義し、モデルが様々な可能なマッチングを探索できるようにする。 我々は、生化学やコンピュータビジョンの応用と同様に、合成グラフデータセットにまたがる広範な実験を行う。
  論文  参考訳（メタデータ） (2021-06-04T02:05:35Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
  グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。 標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。 総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-08T19:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。