論文の概要: Relational Graph Transformer

• arxiv url: http://arxiv.org/abs/2505.10960v1
• Date: Fri, 16 May 2025 07:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.285866
• Title: Relational Graph Transformer
• Title（参考訳）: リレーショナルグラフ変換器
• Authors: Vijay Prakash Dwivedi, Sri Jaladi, Yangyi Shen, Federico López, Charilaos I. Kanatsoulis, Rishi Puri, Matthias Fey, Jure Leskovec,
• Abstract要約: Graph Transformer (Relel) はリレーショナルテーブル用に設計された最初のグラフトランスである。 Relelは、各ノードを5つのコンポーネントに分解する、新しい多要素トークン化戦略を採用している。 我々のアーキテクチャは、サンプル化されたサブグラフに対する局所的な注意と、学習可能なセントロイドに対するグローバルな注意を組み合わせる。
• 参考スコア（独自算出の注目度）: 44.56132732108148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relational Deep Learning (RDL) is a promising approach for building state-of-the-art predictive models on multi-table relational data by representing it as a heterogeneous temporal graph. However, commonly used Graph Neural Network models suffer from fundamental limitations in capturing complex structural patterns and long-range dependencies that are inherent in relational data. While Graph Transformers have emerged as powerful alternatives to GNNs on general graphs, applying them to relational entity graphs presents unique challenges: (i) Traditional positional encodings fail to generalize to massive, heterogeneous graphs; (ii) existing architectures cannot model the temporal dynamics and schema constraints of relational data; (iii) existing tokenization schemes lose critical structural information. Here we introduce the Relational Graph Transformer (RelGT), the first graph transformer architecture designed specifically for relational tables. RelGT employs a novel multi-element tokenization strategy that decomposes each node into five components (features, type, hop distance, time, and local structure), enabling efficient encoding of heterogeneity, temporality, and topology without expensive precomputation. Our architecture combines local attention over sampled subgraphs with global attention to learnable centroids, incorporating both local and database-wide representations. Across 21 tasks from the RelBench benchmark, RelGT consistently matches or outperforms GNN baselines by up to 18%, establishing Graph Transformers as a powerful architecture for Relational Deep Learning.
• Abstract（参考訳）: リレーショナルディープラーニング(Relational Deep Learning, RDL)は、マルチテーブルリレーショナルデータに基づく最先端の予測モデルを構築するための有望なアプローチである。 しかし、一般的に使用されるグラフニューラルネットワークモデルは、複雑な構造パターンとリレーショナルデータに固有の長距離依存をキャプチャする基本的な制限に悩まされている。 グラフトランスフォーマーは、一般的なグラフ上のGNNの強力な代替手段として登場したが、それらをリレーショナルエンティティグラフに適用することは、ユニークな課題を提示している。 (i)従来の位置符号化は、巨大で不均一なグラフへの一般化に失敗する。 (ii)既存のアーキテクチャは、関係データの時間的ダイナミクスやスキーマ制約をモデル化できない。 三 既存のトークン化方式は、重要な構造情報を失う。 本稿ではリレーショナルグラフ変換器(RelGT)について紹介する。 RelGTは、各ノードを5つのコンポーネント(機能、タイプ、ホップ距離、時間、局所構造)に分解し、不均一性、時間性、トポロジーを高価なプリ計算なしで効率的に符号化する、新しい多要素トークン化戦略を採用している。 我々のアーキテクチャは、サンプル化されたサブグラフに対する局所的な注意と学習可能なセントロイドへのグローバルな注意を組み合わせ、局所的およびデータベース全体の表現を取り入れている。 RelBenchベンチマークから21タスクにわたって、RelGTはGNNベースラインを最大18%向上させ、リレーショナルディープラーニングのための強力なアーキテクチャとしてグラフトランスフォーマーを確立した。

関連論文リスト

• RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
  本稿では,リレーショナルデータベースの特徴を捉えた新しいGNNフレームワークであるRelGNNを紹介する。 我々のアプローチの核となるのは、高次三部構造を形成するノードの列である原子経路の導入である。 RelGNNは、最先端の精度を最大25%改善して一貫して達成している。
  論文  参考訳（メタデータ） (2025-02-10T18:58:40Z)
• Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers [0.0]
  変換器の注意機構をグラフ演算として再構成する。 スパース GIN-Attention はスパース GIN を用いた微調整手法である。
  論文  参考訳（メタデータ） (2025-01-04T22:30:21Z)
• GraphCroc: Cross-Correlation Autoencoder for Graph Structural Reconstruction [6.817416560637197]
  グラフオートエンコーダ(GAE)はノード埋め込みからグラフ構造を再構築する。 我々はGAE表現能力を著しく向上する相互相関機構を導入する。 また、さまざまな下流タスクに適したフレキシブルエンコーダアーキテクチャをサポートする新しいGAEであるGraphCrocを提案する。
  論文  参考訳（メタデータ） (2024-10-04T12:59:45Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Transformers over Directed Acyclic Graphs [6.263470141349622]
  有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。 グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-24T12:04:52Z)
• Graph Information Bottleneck [77.21967740646784]
  グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。 GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。 提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:13:00Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。