論文の概要: Graph Positional and Structural Encoder
- arxiv url: http://arxiv.org/abs/2307.07107v1
- Date: Fri, 14 Jul 2023 01:04:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 15:12:49.343729
- Title: Graph Positional and Structural Encoder
- Title（参考訳）: グラフ位置と構造エンコーダ
- Authors: Renming Liu, Semih Cant\"urk, Olivier Lapointe-Gagn\'e, Vincent
L\'etourneau, Guy Wolf, Dominique Beaini, Ladislav Ramp\'a\v{s}ek
- Abstract要約: グラフエンコーダをトレーニングし、リッチなPSE表現をキャプチャして任意のGNNを増強する試みを初めて提示する。
GPSEは複数のPSEに対して共通の潜在表現を効果的に学習でき、高い転送性を持つ。
我々は,GPSEにより強化されたモデルにより,特定のタスクにおける性能が向上し,他のケースでは明示的に計算されたPSEを使用するモデルと同等に性能が向上することを示した。
- 参考スコア（独自算出の注目度）: 7.07512606950358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Positional and structural encodings (PSE) enable better identifiability of
nodes within a graph, as in general graphs lack a canonical node ordering. This
renders PSEs essential tools for empowering modern GNNs, and in particular
graph Transformers. However, designing PSEs that work optimally for a variety
of graph prediction tasks is a challenging and unsolved problem. Here, we
present the graph positional and structural encoder (GPSE), a first-ever
attempt to train a graph encoder that captures rich PSE representations for
augmenting any GNN. GPSE can effectively learn a common latent representation
for multiple PSEs, and is highly transferable. The encoder trained on a
particular graph dataset can be used effectively on datasets drawn from
significantly different distributions and even modalities. We show that across
a wide range of benchmarks, GPSE-enhanced models can significantly improve the
performance in certain tasks, while performing on par with those that employ
explicitly computed PSEs in other cases. Our results pave the way for the
development of large pre-trained models for extracting graph positional and
structural information and highlight their potential as a viable alternative to
explicitly computed PSEs as well as to existing self-supervised pre-training
approaches.
- Abstract（参考訳）: 位置符号化および構造符号化(pse)は、一般的なグラフでは標準ノード順序が欠けているため、グラフ内のノードの識別性が向上する。
これにより、PSEは最新のGNN、特にグラフトランスフォーマーの強化に不可欠なツールとなる。
しかし、様々なグラフ予測タスクに最適なpseを設計することは、困難で未解決な問題である。
本稿では,グラフ位置および構造エンコーダ(GPSE)について述べる。これはグラフエンコーダを訓練し,リッチなPSE表現をキャプチャして任意のGNNを増強する試みである。
GPSEは複数のPSEに対して共通の潜在表現を効果的に学習でき、高い転送性を持つ。
特定のグラフデータセットでトレーニングされたエンコーダは、大きく異なる分布やモダリティから引き出されたデータセットに効果的に使用できる。
gpse-enhancedモデルでは,幅広いベンチマークにおいて,特定のタスクにおけるパフォーマンスを著しく向上させると同時に,他のケースで明示的に計算されたpssを使用するモデルと同等の性能を発揮できることを示す。
本研究は,グラフの位置および構造情報を抽出する大規模事前学習モデルの開発への道を開くとともに,既存の自己教師型事前学習アプローチと同様に,明示的に計算されたPSEの代替としての可能性を強調した。
関連論文リスト
- Range-aware Positional Encoding via High-order Pretraining: Theory and Practice [14.521929085104441]
大量のグラフデータに対する教師なし事前トレーニングは、ラベル付きデータが制限された実世界のアプリケーションでは不可欠である。
本稿では,多解像度構造情報をモデル化することに焦点を当てたグラフの事前学習戦略を提案する。
このアプローチはグラフ構造にのみ依存するが、ドメインに依存しず、さまざまなドメインのデータセットに適応可能である。
論文 参考訳（メタデータ） (2024-09-27T19:53:10Z) - Revisiting, Benchmarking and Understanding Unsupervised Graph Domain Adaptation [31.106636947179005]
教師なしグラフドメイン適応(Unsupervised Graph Domain Adaptation)は、ラベル豊富なソースグラフからラベルなしターゲットグラフへの知識の転送を含む。
GDABenchと呼ばれる教師なしグラフ領域適応のための最初の包括的なベンチマークを示す。
我々は、現在のUGDAモデルの性能がデータセットや適応シナリオによって大きく異なることを観察する。
論文 参考訳（メタデータ） (2024-07-09T06:44:09Z) - Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳（メタデータ） (2024-05-27T17:52:12Z) - Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。
我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
論文 参考訳（メタデータ） (2024-01-31T12:33:31Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。
我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
論文 参考訳（メタデータ） (2021-06-10T11:36:22Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳（メタデータ） (2020-10-19T21:51:47Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z) - Heuristic Semi-Supervised Learning for Graph Generation Inspired by
Electoral College [80.67842220664231]
本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。
テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
論文 参考訳（メタデータ） (2020-06-10T14:48:48Z) - Self-Constructing Graph Convolutional Networks for Semantic Labeling [23.623276007011373]
本稿では,学習可能な潜伏変数を用いて埋め込みを生成する自己構築グラフ(SCG)を提案する。
SCGは、空中画像中の複雑な形状の物体から、最適化された非局所的なコンテキストグラフを自動的に取得することができる。
本稿では,ISPRS Vaihingen データセット上で提案した SCG の有効性と柔軟性を示す。
論文 参考訳（メタデータ） (2020-03-15T21:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。