Fugu-MT 論文翻訳(概要): Motif-Driven Contrastive Learning of Graph Representations

論文の概要: Motif-Driven Contrastive Learning of Graph Representations

arxiv url: http://arxiv.org/abs/2012.12533v3
Date: Fri, 16 Apr 2021 07:45:10 GMT
ステータス: 処理完了
システム内更新日: 2021-04-25 18:05:32.652140
Title: Motif-Driven Contrastive Learning of Graph Representations
Title（参考訳）: グラフ表現のモチーフ駆動型コントラスト学習
Authors: Shichang Zhang, Ziniu Hu, Arjun Subramonian, Yizhou Sun
Abstract要約: しばしば発生するサブグラフパターンであるグラフモチーフを学習し、より良いサブグラフサンプリングを提案する。 ogbg-molhivデータセットをMICRO-Graphで事前トレーニングすることで、事前トレーニングされたGNNは平均性能を2.04%向上させる。
参考スコア（独自算出の注目度）: 32.03481571304036
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pre-training Graph Neural Networks (GNN) via self-supervised contrastive learning has recently drawn lots of attention. However, most existing works focus on node-level contrastive learning, which cannot capture global graph structure. The key challenge to conducting subgraph-level contrastive learning is to sample informative subgraphs that are semantically meaningful. To solve it, we propose to learn graph motifs, which are frequently-occurring subgraph patterns (e.g. functional groups of molecules), for better subgraph sampling. Our framework MotIf-driven Contrastive leaRning Of Graph representations (MICRO-Graph) can: 1) use GNNs to extract motifs from large graph datasets; 2) leverage learned motifs to sample informative subgraphs for contrastive learning of GNN. We formulate motif learning as a differentiable clustering problem, and adopt EM-clustering to group similar and significant subgraphs into several motifs. Guided by these learned motifs, a sampler is trained to generate more informative subgraphs, and these subgraphs are used to train GNNs through graph-to-subgraph contrastive learning. By pre-training on the ogbg-molhiv dataset with MICRO-Graph, the pre-trained GNN achieves 2.04% ROC-AUC average performance enhancement on various downstream benchmark datasets, which is significantly higher than other state-of-the-art self-supervised learning baselines.
Abstract（参考訳）: 自己教師付きコントラスト学習による事前学習型グラフニューラルネットワーク(gnn)が最近注目を集めている。しかし,既存の研究のほとんどは,グローバルグラフ構造を捉えることができないノードレベルのコントラスト学習に重点を置いている。サブグラフレベルのコントラスト学習を行う上で重要な課題は、意味論的に意味のある情報的なサブグラフをサンプリングすることである。そこで本研究では,グラフパターンが頻繁に発生するグラフモチーフ(例)を学習することを提案する。分子の官能基) より優れたサブグラフサンプリングのための。われわれのフレームワークである MotIf-driven Contrastive leaRning of Graph representations (MICRO-Graph) は、1) GNNを用いて、大きなグラフデータセットからモチーフを抽出し、2)学習モチーフを利用して、GNNのコントラスト学習のための情報サブグラフをサンプリングする。異なるクラスタリング問題としてモチーフ学習を定式化し、EMクラスタリングを用いて類似および重要なサブグラフを複数のモチーフに分類する。これらの学習モチーフによってガイドされ、サンプルはより情報的なサブグラフを生成するために訓練され、これらのサブグラフはグラフからサブグラフへのコントラスト学習を通じてGNNのトレーニングに使用される。 MICRO-Graphでogbg-molhivデータセットを事前トレーニングすることにより、事前トレーニングされたGNNは、さまざまなダウンストリームベンチマークデータセットで平均性能を2.04%向上させる。

関連論文リスト

Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文参考訳（メタデータ） (2024-05-27T17:52:12Z)
SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
論文参考訳（メタデータ） (2024-04-21T13:11:59Z)
Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。モデルはGCNを適用するために初期グラフを事前に推定する。一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
論文参考訳（メタデータ） (2024-02-25T07:03:37Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Subgraph Networks Based Contrastive Learning [5.736011243152416]
グラフコントラスト学習(GCL)は、注釈付きデータ不足の問題を解決する。既存のGCL手法の多くは、グラフ拡張戦略や相互情報推定操作の設計に重点を置いている。サブグラフネットワークに基づくコントラスト学習(SGNCL)という新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-06-06T08:52:44Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
Joint Graph Learning and Matching for Semantic Feature Correspondence [69.71998282148762]
本稿では,グラフマッチングを向上するための信頼度の高いグラフ構造を探索するために,GLAMという共用電子グラフ学習とマッチングネットワークを提案する。提案手法は,3つの人気ビジュアルマッチングベンチマーク (Pascal VOC, Willow Object, SPair-71k) で評価される。すべてのベンチマークにおいて、従来の最先端のグラフマッチング手法よりも大きなマージンを達成している。
論文参考訳（メタデータ） (2021-09-01T08:24:02Z)
Multi-Level Graph Contrastive Learning [38.022118893733804]
本稿では,グラフの空間ビューを対比することで,グラフデータの堅牢な表現を学習するためのマルチレベルグラフコントラスト学習(MLGCL)フレームワークを提案する。元のグラフは1次近似構造であり、不確実性や誤りを含むが、符号化機能によって生成された$k$NNグラフは高次近接性を保持する。 MLGCLは、7つのデータセット上の既存の最先端グラフ表現学習法と比較して有望な結果が得られることを示す。
論文参考訳（メタデータ） (2021-07-06T14:24:43Z)
Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
論文参考訳（メタデータ） (2020-11-19T06:03:35Z)
Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文参考訳（メタデータ） (2020-10-22T20:13:43Z)
GraphCrop: Subgraph Cropping for Graph Classification [36.33477716380905]
我々は,サブ構造欠落の現実的なノイズをシミュレートするtextbfGraphCrop (Subgraph Cropping) データ拡張法を開発した。グラフ分類のための有効な構造コンテキストを保存することにより、GNNはグローバルな意味でグラフ構造の内容を理解することを奨励する。
論文参考訳（メタデータ） (2020-09-22T14:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。