論文の概要: Rethinking Graph Transformer Architecture Design for Node Classification

• arxiv url: http://arxiv.org/abs/2410.11189v1
• Date: Tue, 15 Oct 2024 02:08:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:01:41.328878
• Title: Rethinking Graph Transformer Architecture Design for Node Classification
• Title（参考訳）: ノード分類のためのグラフトランスフォーマーアーキテクチャ設計の再考
• Authors: Jiajun Zhou, Xuanze Chen, Chenxuan Xie, Yu Shanqing, Qi Xuan, Xiaoniu Yang,
• Abstract要約: グラフトランスフォーマー(GT)は、高次メッセージパッシングを容易にするためにマルチヘッドアテンションを利用するグラフニューラルネットワーク(GNN)の一種である。 本研究では,ノード分類タスクにおけるGTアーキテクチャの適応性を検討するための観測実験を行う。 提案したGTアーキテクチャは,グローバルノイズや計算効率の制限の影響を受けずに,ノード分類タスクに効果的に適応することができる。
• 参考スコア（独自算出の注目度）: 4.497245600377944
• License:
• Abstract: Graph Transformer (GT), as a special type of Graph Neural Networks (GNNs), utilizes multi-head attention to facilitate high-order message passing. However, this also imposes several limitations in node classification applications: 1) nodes are susceptible to global noise; 2) self-attention computation cannot scale well to large graphs. In this work, we conduct extensive observational experiments to explore the adaptability of the GT architecture in node classification tasks and draw several conclusions: the current multi-head self-attention module in GT can be completely replaceable, while the feed-forward neural network module proves to be valuable. Based on this, we decouple the propagation (P) and transformation (T) of GNNs and explore a powerful GT architecture, named GNNFormer, which is based on the P/T combination message passing and adapted for node classification in both homophilous and heterophilous scenarios. Extensive experiments on 12 benchmark datasets demonstrate that our proposed GT architecture can effectively adapt to node classification tasks without being affected by global noise and computational efficiency limitations.
• Abstract（参考訳）: グラフトランスフォーマー(GT)は、グラフニューラルネットワーク(GNN)の特殊なタイプであり、高次メッセージパッシングを容易にするためにマルチヘッドアテンションを利用する。 しかし、これはノード分類アプリケーションにいくつかの制限を課している。 1) ノードはグローバルノイズに影響を受けやすい。 2) 自己注意計算は大きなグラフに対してうまくスケールできない。 本研究では,ノード分類タスクにおけるGTアーキテクチャの適応性を探索する広範な観測実験を行い,GTの現在のマルチヘッド自己保持モジュールを完全に置き換えることができる一方で,フィードフォワードニューラルネットワークモジュールが有用であることを示す。 これに基づいて、GNNの伝搬(P)と変換(T)を分離し、P/T結合メッセージパッシングに基づくGNNFormerという強力なGTアーキテクチャを探索し、同好および異好両方のシナリオにおいてノード分類に適応する。 提案したGTアーキテクチャは,グローバルノイズや計算効率の制限の影響を受けずに,ノード分類タスクに効果的に適応できることを示す。

関連論文リスト

• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• MuseGNN: Interpretable and Convergent Graph Neural Network Layers at Scale [15.93424606182961]
  本稿では, ある設定における収束保証によって導かれる, サンプリングベースエネルギー関数と拡張性のあるGNN層を反復的に削減する手法を提案する。 また、これらの設計に基づいて完全なGNNアーキテクチャをインスタンス化し、1TBを超える最大公用ノード分類ベンチマークに適用した場合の競合精度とスケーラビリティを実現する。
  論文  参考訳（メタデータ） (2023-10-19T04:30:14Z)
• NDGGNET-A Node Independent Gate based Graph Neural Networks [6.155450481110693]
  疎結合なノードでは、単一のGNN層を通して十分な情報を得るのは難しい。 この論文では、通常のGNNモデルでより多くのレイヤに対応可能な新しいフレームワークを定義する。 実験結果から,提案モデルがモデル深度を効果的に向上し,複数のデータセットで良好に動作できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-11T08:51:04Z)
• Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with Heterophily [58.76759997223951]
  我々はフォン・ノイマンエントロピーに基づく新しい計量を提案し、GNNのヘテロフィリー問題を再検討する。 また、異種データセット上でのほとんどのGNNの性能を高めるために、Conv-Agnostic GNNフレームワーク(CAGNN)を提案する。
  論文  参考訳（メタデータ） (2022-03-19T14:26:43Z)
• A Variational Edge Partition Model for Supervised Graph Representation Learning [51.30365677476971]
  本稿では,重なり合うノード群間の相互作用を集約することで,観測されたエッジがどのように生成されるかをモデル化するグラフ生成プロセスを提案する。 それぞれのエッジを複数のコミュニティ固有の重み付きエッジの和に分割し、コミュニティ固有のGNNを定義する。 エッジを異なるコミュニティに分割するGNNベースの推論ネットワーク,これらのコミュニティ固有のGNN,およびコミュニティ固有のGNNを最終分類タスクに組み合わせたGNNベースの予測器を共同で学習するために,変分推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T14:37:50Z)
• Network In Graph Neural Network [9.951298152023691]
  本稿では,任意のGNNモデルに対して,モデルをより深くすることでモデル容量を増大させるモデルに依存しない手法を提案する。 GNNレイヤの追加や拡張の代わりに、NGNNは、各GNNレイヤに非線形フィードフォワードニューラルネットワーク層を挿入することで、GNNモデルを深めている。
  論文  参考訳（メタデータ） (2021-11-23T03:58:56Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Dual GNNs: Graph Neural Network Learning with Limited Supervision [33.770877823910176]
  本稿では,この課題に対処するための新しいDual GNN学習フレームワークを提案する。 2つのモジュールを2つのGNN学習フレームワークに統合することにより、エンドツーエンドで共同学習を行う。
  論文  参考訳（メタデータ） (2021-06-29T23:52:25Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
  本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。 鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。 階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-08T13:11:07Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。