Fugu-MT 論文翻訳(概要): Towards A Universal Graph Structural Encoder

論文の概要: Towards A Universal Graph Structural Encoder

arxiv url: http://arxiv.org/abs/2504.10917v1
Date: Tue, 15 Apr 2025 06:57:26 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-16 22:11:26.402449
Title: Towards A Universal Graph Structural Encoder
Title（参考訳）: ユニバーサルグラフ構造エンコーダを目指して
Authors: Jialin Chen, Haolan Zuo, Haoyu Peter Wang, Siqi Miao, Pan Li, Rex Ying,
Abstract要約: GFSEは、様々な領域にわたる転送可能な構造パターンをキャプチャするために設計された普遍的なグラフ構造エンコーダである。グラフ変換器上に構築されたGFSEは、グラフ誘導バイアスによって誘導される注意機構を導入し、多層および微細なトポロジ的特徴をエンコードする。 GFSEは81.6%の評価ケースで最先端のパフォーマンスを達成し、多様なグラフモデルとデータセットにまたがる。
参考スコア（独自算出の注目度）: 18.609281566514017
License:
Abstract: Recent advancements in large-scale pre-training have shown the potential to learn generalizable representations for downstream tasks. In the graph domain, however, capturing and transferring structural information across different graph domains remains challenging, primarily due to the inherent differences in topological patterns across various contexts. Additionally, most existing models struggle to capture the complexity of rich graph structures, leading to inadequate exploration of the embedding space. To address these challenges, we propose GFSE, a universal graph structural encoder designed to capture transferable structural patterns across diverse domains such as molecular graphs, social networks, and citation networks. GFSE is the first cross-domain graph structural encoder pre-trained with multiple self-supervised learning objectives. Built on a Graph Transformer, GFSE incorporates attention mechanisms informed by graph inductive bias, enabling it to encode intricate multi-level and fine-grained topological features. The pre-trained GFSE produces generic and theoretically expressive positional and structural encoding for graphs, which can be seamlessly integrated with various downstream graph feature encoders, including graph neural networks for vectorized features and Large Language Models for text-attributed graphs. Comprehensive experiments on synthetic and real-world datasets demonstrate GFSE's capability to significantly enhance the model's performance while requiring substantially less task-specific fine-tuning. Notably, GFSE achieves state-of-the-art performance in 81.6% evaluated cases, spanning diverse graph models and datasets, highlighting its potential as a powerful and versatile encoder for graph-structured data.
Abstract（参考訳）: 大規模プレトレーニングの最近の進歩は、下流タスクの一般化可能な表現を学習する可能性を示している。しかし、グラフ領域では、様々なグラフ領域にまたがる構造情報の取得と転送は、主に様々な文脈にまたがるトポロジ的パターンに固有の違いがあるため、依然として困難である。さらに、既存のモデルのほとんどは、リッチグラフ構造の複雑さを捉えるのに苦労しており、埋め込み空間の探検が不十分である。これらの課題に対処するために,分子グラフやソーシャルネットワーク,引用ネットワークなど,さまざまな領域にまたがる伝達可能な構造パターンをキャプチャする汎用グラフ構造エンコーダGFSEを提案する。 GFSEは、複数の自己教師付き学習目標を事前訓練した最初のクロスドメイングラフ構造エンコーダである。グラフ変換器上に構築されたGFSEは、グラフ帰納バイアスによって誘導される注意機構を導入し、多層および微細なトポロジ的特徴をエンコードする。事前学習されたGFSEは、グラフの汎用的かつ理論的に表現された位置および構造的エンコーディングを生成し、様々な下流グラフ特徴エンコーダとシームレスに統合することができる。合成データセットと実世界のデータセットに関する総合的な実験は、GFSEがタスク固有の微調整を著しく減らしながら、モデルの性能を大幅に向上する能力を示している。特に、GFSEは81.6%の評価ケースで最先端のパフォーマンスを達成し、多様なグラフモデルとデータセットにまたがり、グラフ構造化データのための強力で汎用的なエンコーダとしての可能性を強調している。

関連論文リスト

Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
論文参考訳（メタデータ） (2025-01-01T08:48:53Z)
Towards Graph Foundation Models: A Study on the Generalization of Positional and Structural Encodings [36.58861528662219]
位置的および構造的符号化(PSE)がグラフニューラルネットワーク(GNN)に統合された本稿では,様々なグラフデータセット間での学習可能なPSEの微調整効率,サンプルサイズによるスケーラビリティ,一般化,能力について検討する。
論文参考訳（メタデータ） (2024-12-10T10:58:47Z)
Range-aware Positional Encoding via High-order Pretraining: Theory and Practice [14.521929085104441]
大量のグラフデータに対する教師なし事前トレーニングは、ラベル付きデータが制限された実世界のアプリケーションでは不可欠である。本稿では,多解像度構造情報をモデル化することに焦点を当てたグラフの事前学習戦略を提案する。このアプローチはグラフ構造にのみ依存するが、ドメインに依存しず、さまざまなドメインのデータセットに適応可能である。
論文参考訳（メタデータ） (2024-09-27T19:53:10Z)
AnyGraph: Graph Foundation Model in the Wild [16.313146933922752]
グラフ基盤モデルは、グラフデータから堅牢で一般化可能な表現を学ぶ可能性を提供します。本研究では,主要な課題に対処するために設計された統一グラフモデルであるAnyGraphについて検討する。多様な38のグラフデータセットに対する実験は、AnyGraphの強力なゼロショット学習性能を実証した。
論文参考訳（メタデータ） (2024-08-20T09:57:13Z)
A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文参考訳（メタデータ） (2024-06-19T22:30:08Z)
Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
論文参考訳（メタデータ） (2024-01-31T12:33:31Z)
GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文参考訳（メタデータ） (2023-06-20T03:33:22Z)
GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-06-17T16:18:35Z)
Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文参考訳（メタデータ） (2020-03-15T02:33:21Z)
Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。