論文の概要: VCR-Graphormer: A Mini-batch Graph Transformer via Virtual Connections

• arxiv url: http://arxiv.org/abs/2403.16030v1
• Date: Sun, 24 Mar 2024 06:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 17:55:17.222711
• Title: VCR-Graphormer: A Mini-batch Graph Transformer via Virtual Connections
• Title（参考訳）: VCR-Graphormer:仮想接続によるミニバッチグラフトランス
• Authors: Dongqi Fu, Zhigang Hua, Yan Xie, Jin Fang, Si Zhang, Kaan Sancak, Hao Wu, Andrey Malevich, Jingrui He, Bo Long,
• Abstract要約: 本稿では,各ノードのトークンリストをバッチにロードすることで,グラフトランスフォーマーのミニバッチトレーニングを可能にすることを示す。 さらに、このPPRトークン化は、固定フィルタとジャンプ知識を備えたグラフ畳み込みネットワークとして有効であることを示す。
• 参考スコア（独自算出の注目度）: 45.27160435758666
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Graph transformer has been proven as an effective graph learning method for its adoption of attention mechanism that is capable of capturing expressive representations from complex topological and feature information of graphs. Graph transformer conventionally performs dense attention (or global attention) for every pair of nodes to learn node representation vectors, resulting in quadratic computational costs that are unaffordable for large-scale graph data. Therefore, mini-batch training for graph transformers is a promising direction, but limited samples in each mini-batch can not support effective dense attention to encode informative representations. Facing this bottleneck, (1) we start by assigning each node a token list that is sampled by personalized PageRank (PPR) and then apply standard multi-head self-attention only on this list to compute its node representations. This PPR tokenization method decouples model training from complex graph topological information and makes heavy feature engineering offline and independent, such that mini-batch training of graph transformers is possible by loading each node's token list in batches. We further prove this PPR tokenization is viable as a graph convolution network with a fixed polynomial filter and jumping knowledge. However, only using personalized PageRank may limit information carried by a token list, which could not support different graph inductive biases for model training. To this end, (2) we rewire graphs by introducing multiple types of virtual connections through structure- and content-based super nodes that enable PPR tokenization to encode local and global contexts, long-range interaction, and heterophilous information into each node's token list, and then formalize our Virtual Connection Ranking based Graph Transformer (VCR-Graphormer).
• Abstract（参考訳）: グラフ変換器は、グラフの複雑なトポロジと特徴情報から表現表現をキャプチャできるアテンションメカニズムを採用するための効果的なグラフ学習法として証明されている。 グラフ変換器は従来,ノード表現ベクトルを学習するために各ノードに対して高密度な注意(あるいは大域的注意)を行うため,大規模グラフデータには不適当な2次計算コストが生じる。 したがって、グラフ変換器のミニバッチトレーニングは有望な方向であるが、各ミニバッチの限られたサンプルは、情報表現を符号化するための効果的な密集性をサポートできない。 このボトルネックに直面すると、(1) 各ノードにパーソナライズされたPageRank(PPR)によってサンプリングされたトークンリストを割り当て、次にこのリストにのみ標準のマルチヘッド自己アテンションを適用してノード表現を計算する。 複雑なグラフトポロジ情報からモデルトレーニングを分離し、各ノードのトークンリストをバッチにロードすることでグラフトランスフォーマーのミニバッチトレーニングを可能にする。 さらに、このPPRトークン化は、固定多項式フィルタとジャンプ知識を備えたグラフ畳み込みネットワークとして有効であることを示す。 しかし、パーソナライズされたPageRankのみを使用すると、トークンリストが保持する情報が制限される可能性がある。 これにより、PPRトークン化により、各ノードのトークンリストにローカルおよびグローバルコンテキスト、長距離インタラクション、異種情報をエンコードし、VCR-Graphormer(Virtual Connection Ranking based Graph Transformer)を形式化する。

関連論文リスト

• NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification [11.451341325579188]
  我々はNTFormerと呼ばれる新しいグラフ変換器を提案し,ノード分類問題に対処する。 Node2Parと呼ばれる新しいトークンジェネレータは、各ノードごとに異なるトークン要素を使用してさまざまなトークンシーケンスを生成する。 様々なベンチマークデータセットで行った実験は、ノード分類のための代表グラフ変換器やグラフニューラルネットワークよりもNTFormerの方が優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-27T15:16:00Z)
• Learning on Large Graphs using Intersecting Communities [13.053266613831447]
  MPNNは、各ノードの隣人からのメッセージを集約することで、入力グラフ内の各ノードの表現を反復的に更新する。 MPNNは、あまりスパースではないため、すぐに大きなグラフの禁止になるかもしれない。 本稿では,入力グラフを交差するコミュニティグラフ (ICG) として近似することを提案する。
  論文  参考訳（メタデータ） (2024-05-31T09:26:26Z)
• Graph as Point Set [31.448841287258116]
  本稿では,相互接続ノードを独立点の集合に変換するグラフ・ツー・セット変換法を提案する。 これにより、セットエンコーダを使用してグラフから学習することが可能になり、グラフニューラルネットワークの設計空間が大幅に拡張される。 提案手法の有効性を示すために,グラフから変換された点集合を入力として受け入れる変換器アーキテクチャであるPoint Set Transformer (PST)を導入する。
  論文  参考訳（メタデータ） (2024-05-05T02:29:41Z)
• SignGT: Signed Attention-based Graph Transformer for Graph Representation Learning [15.248591535696146]
  本稿では,グラフから様々な周波数情報を適応的に取得するSigned Attention-based Graph Transformer (SignGT)を提案する。 具体的には、SignGTは、ノードペアの意味的関連性に応じて署名された注意値を生成する、署名付き自己注意機構(SignSA)を新たに開発した。
  論文  参考訳（メタデータ） (2023-10-17T06:42:11Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。