論文の概要: Self-Supervised Graph Structure Refinement for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2211.06545v1
• Date: Sat, 12 Nov 2022 02:01:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 16:17:36.649482
• Title: Self-Supervised Graph Structure Refinement for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークの自己教師付きグラフ構造再構成
• Authors: Jianan Zhao, Qianlong Wen, Mingxuan Ju, Chuxu Zhang, Yanfang Ye
• Abstract要約: グラフ構造学習(GSL)はグラフニューラルネットワーク(GNN)の隣接行列の学習を目的としている 既存のGSLの作業の多くは、推定隣接行列とGNNパラメータを下流タスクに最適化した共同学習フレームワークを適用している。 プレトレイン-ファインチューンパイプラインを用いたグラフ構造改善(GSR)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.924317784535155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph structure learning (GSL), which aims to learn the adjacency matrix for graph neural networks (GNNs), has shown great potential in boosting the performance of GNNs. Most existing GSL works apply a joint learning framework where the estimated adjacency matrix and GNN parameters are optimized for downstream tasks. However, as GSL is essentially a link prediction task, whose goal may largely differ from the goal of the downstream task. The inconsistency of these two goals limits the GSL methods to learn the potential optimal graph structure. Moreover, the joint learning framework suffers from scalability issues in terms of time and space during the process of estimation and optimization of the adjacency matrix. To mitigate these issues, we propose a graph structure refinement (GSR) framework with a pretrain-finetune pipeline. Specifically, The pre-training phase aims to comprehensively estimate the underlying graph structure by a multi-view contrastive learning framework with both intra- and inter-view link prediction tasks. Then, the graph structure is refined by adding and removing edges according to the edge probabilities estimated by the pre-trained model. Finally, the fine-tuning GNN is initialized by the pre-trained model and optimized toward downstream tasks. With the refined graph structure remaining static in the fine-tuning space, GSR avoids estimating and optimizing graph structure in the fine-tuning phase which enjoys great scalability and efficiency. Moreover, the fine-tuning GNN is boosted by both migrating knowledge and refining graphs. Extensive experiments are conducted to evaluate the effectiveness (best performance on six benchmark datasets), efficiency, and scalability (13.8x faster using 32.8% GPU memory compared to the best GSL baseline on Cora) of the proposed model.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)の隣接行列の学習を目的としたグラフ構造学習(GSL)は,GNNの性能向上に大きな可能性を示している。 既存のGSLの作業の多くは、推定隣接行列とGNNパラメータを下流タスクに最適化した共同学習フレームワークを適用している。 しかし、GSLは基本的にリンク予測タスクであるため、そのゴールは下流タスクのゴールと大きく異なる可能性がある。 これらの2つの目標の不整合は、潜在的な最適グラフ構造を学ぶためのGSL法を制限する。 さらに、協調学習フレームワークは、隣接行列の推定と最適化の過程において、時間と空間の観点からのスケーラビリティの問題に苦しむ。 これらの問題を緩和するために,プリトレイン・フィニチューンパイプラインを用いたグラフ構造改善(gsr)フレームワークを提案する。 特に、事前学習フェーズは、相互リンク予測タスクを含む多視点コントラスト学習フレームワークにより、基礎となるグラフ構造を包括的に推定することを目的としている。 そして、事前学習モデルにより推定されるエッジ確率に応じてエッジの追加及び削除によりグラフ構造を洗練する。 最後に、微調整GNNは事前訓練されたモデルによって初期化され、下流タスクに最適化される。 精巧なグラフ構造が微調整空間に静止しているため、GSRは優れたスケーラビリティと効率をもたらす微調整フェーズにおけるグラフ構造の推定と最適化を避けることができる。 さらに、微調整GNNは、知識の移行と精錬グラフの両方によって強化される。 提案モデルの有効性(ベンチマークデータセット6つで最高の性能)、効率、スケーラビリティ(32.8%のgpuメモリを使用した場合の13.8倍の高速化)を評価するために、広範囲な実験を行った。

関連論文リスト

• Improving the interpretability of GNN predictions through conformal-based graph sparsification [9.550589670316523]
  グラフニューラルネットワーク(GNN)は、グラフ分類タスクの解決において最先端のパフォーマンスを達成した。 エッジやノードを除去することで,最も予測可能なサブグラフを見つけるGNNエンハンチング手法を提案する。 我々は、共形予測に基づく報奨関数で得られる二段階最適化を解決するために強化学習を頼りにしている。
  論文  参考訳（メタデータ） (2024-04-18T17:34:47Z)
• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• Semantic Graph Neural Network with Multi-measure Learning for Semi-supervised Classification [5.000404730573809]
  近年,グラフニューラルネットワーク(GNN)が注目されている。 近年の研究では、GNNはグラフの複雑な基盤構造に弱いことが示されている。 半教師付き分類のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-04T06:17:11Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• GPN: A Joint Structural Learning Framework for Graph Neural Networks [36.38529113603987]
  グラフ構造と下流タスクを同時に学習するGNNベースの共同学習フレームワークを提案する。 本手法は,この課題を解決するためのGNNベースの二段階最適化フレームワークである。
  論文  参考訳（メタデータ） (2022-05-12T09:06:04Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings [53.58077686470096]
  グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。 実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T19:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。