論文の概要: Graph Positional and Structural Encoder

• arxiv url: http://arxiv.org/abs/2307.07107v2
• Date: Mon, 10 Jun 2024 21:36:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 01:18:21.086735
• Title: Graph Positional and Structural Encoder
• Title（参考訳）: グラフ位置と構造エンコーダ
• Authors: Semih Cantürk, Renming Liu, Olivier Lapointe-Gagné, Vincent Létourneau, Guy Wolf, Dominique Beaini, Ladislav Rampášek,
• Abstract要約: グラフエンコーダは、任意のGNNを増大させるために、リッチなPSE表現をキャプチャするように設計されている。 GPSEは複数のPSEに対して効率的な共通潜伏表現を学習し、高い転送性を持つ。 GPSEにより強化されたモデルは、明示的に計算されたPSEを使用するモデルよりも大幅に優れており、少なくとも他のモデルではその性能に匹敵することを示す。
• 参考スコア（独自算出の注目度）: 11.647944336315346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Positional and structural encodings (PSE) enable better identifiability of nodes within a graph, rendering them essential tools for empowering modern GNNs, and in particular graph Transformers. However, designing PSEs that work optimally for all graph prediction tasks is a challenging and unsolved problem. Here, we present the Graph Positional and Structural Encoder (GPSE), the first-ever graph encoder designed to capture rich PSE representations for augmenting any GNN. GPSE learns an efficient common latent representation for multiple PSEs, and is highly transferable: The encoder trained on a particular graph dataset can be used effectively on datasets drawn from markedly different distributions and modalities. We show that across a wide range of benchmarks, GPSE-enhanced models can significantly outperform those that employ explicitly computed PSEs, and at least match their performance in others. Our results pave the way for the development of foundational pre-trained graph encoders for extracting positional and structural information, and highlight their potential as a more powerful and efficient alternative to explicitly computed PSEs and existing self-supervised pre-training approaches. Our framework and pre-trained models are publicly available at https://github.com/G-Taxonomy-Workgroup/GPSE. For convenience, GPSE has also been integrated into the PyG library to facilitate downstream applications.
• Abstract（参考訳）: 位置符号化と構造符号化(PSE)により、グラフ内のノードの識別性が向上し、最新のGNN、特にグラフ変換器の強化に欠かせないツールをレンダリングする。 しかしながら、全てのグラフ予測タスクに最適に動作するPSEを設計することは、困難で未解決な問題である。 グラフ位置と構造エンコーダ(GPSE)について述べる。これはGNNを拡張するためのリッチなPSE表現をキャプチャするために設計された最初のグラフエンコーダである。 特定のグラフデータセットでトレーニングされたエンコーダは、明らかに異なる分布とモダリティから引き出されたデータセットに対して効果的に使用することができます。 我々は、幅広いベンチマークにおいて、GPSEにより強化されたモデルは、明示的に計算されたPSEを使用するモデルよりも大幅に優れており、少なくとも他のベンチマークでの性能に匹敵することを示す。 本研究は、位置情報や構造情報を抽出する基礎的な事前学習型グラフエンコーダの開発を図り、PSEや既存の自己管理型事前学習手法よりも強力で効率的な代替手段としての可能性を強調した。 我々のフレームワークと事前訓練されたモデルは、https://github.com/G-Taxonomy-Workgroup/GPSEで公開されています。 利便性のために、GPSEは下流アプリケーションを容易にするためにPyGライブラリに統合されている。

関連論文リスト

• Range-aware Positional Encoding via High-order Pretraining: Theory and Practice [14.521929085104441]
  大量のグラフデータに対する教師なし事前トレーニングは、ラベル付きデータが制限された実世界のアプリケーションでは不可欠である。 本稿では,多解像度構造情報をモデル化することに焦点を当てたグラフの事前学習戦略を提案する。 このアプローチはグラフ構造にのみ依存するが、ドメインに依存しず、さまざまなドメインのデータセットに適応可能である。
  論文  参考訳（メタデータ） (2024-09-27T19:53:10Z)
• Revisiting, Benchmarking and Understanding Unsupervised Graph Domain Adaptation [31.106636947179005]
  教師なしグラフドメイン適応(Unsupervised Graph Domain Adaptation)は、ラベル豊富なソースグラフからラベルなしターゲットグラフへの知識の転送を含む。 GDABenchと呼ばれる教師なしグラフ領域適応のための最初の包括的なベンチマークを示す。 我々は、現在のUGDAモデルの性能がデータセットや適応シナリオによって大きく異なることを観察する。
  論文  参考訳（メタデータ） (2024-07-09T06:44:09Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Graph Transformers without Positional Encodings [0.7252027234425334]
  グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。 我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-01-31T12:33:31Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
  古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。 我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
  論文  参考訳（メタデータ） (2021-06-10T11:36:22Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)
• Self-Constructing Graph Convolutional Networks for Semantic Labeling [23.623276007011373]
  本稿では,学習可能な潜伏変数を用いて埋め込みを生成する自己構築グラフ(SCG)を提案する。 SCGは、空中画像中の複雑な形状の物体から、最適化された非局所的なコンテキストグラフを自動的に取得することができる。 本稿では,ISPRS Vaihingen データセット上で提案した SCG の有効性と柔軟性を示す。
  論文  参考訳（メタデータ） (2020-03-15T21:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。