論文の概要: DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling

• arxiv url: http://arxiv.org/abs/2412.04738v1
• Date: Fri, 06 Dec 2024 02:59:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:55:40.960122
• Title: DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling
• Title（参考訳）: DHIL-GT:非結合階層ラベル付きスケーラブルグラフ変換器
• Authors: Ningyi Liao, Zihao Yu, Siqiang Luo,
• Abstract要約: Graph Transformer(GT)は最近、グラフ構造化データ学習のための有望なニューラルネットワークアーキテクチャとして登場した。 DHIL-GTはスケーラブルなグラフ変換器で,グラフ計算を個別のステージに完全に分離することで,ネットワーク学習を簡略化する。 DHIL-GTは、大規模ベンチマーク上の既存のスケーラブルグラフ変換器の設計よりも、計算の高速化とミニバッチ能力の点で効率的である。
• 参考スコア（独自算出の注目度）: 10.556366638048384
• License:
• Abstract: Graph Transformer (GT) has recently emerged as a promising neural network architecture for learning graph-structured data. However, its global attention mechanism with quadratic complexity concerning the graph scale prevents wider application to large graphs. While current methods attempt to enhance GT scalability by altering model architecture or encoding hierarchical graph data, our analysis reveals that these models still suffer from the computational bottleneck related to graph-scale operations. In this work, we target the GT scalability issue and propose DHIL-GT, a scalable Graph Transformer that simplifies network learning by fully decoupling the graph computation to a separate stage in advance. DHIL-GT effectively retrieves hierarchical information by exploiting the graph labeling technique, as we show that the graph label hierarchy is more informative than plain adjacency by offering global connections while promoting locality, and is particularly suitable for handling complex graph patterns such as heterophily. We further design subgraph sampling and positional encoding schemes for precomputing model input on top of graph labels in an end-to-end manner. The training stage thus favorably removes graph-related computations, leading to ideal mini-batch capability and GPU utilization. Notably, the precomputation and training processes of DHIL-GT achieve complexities linear to the number of graph edges and nodes, respectively. Extensive experiments demonstrate that DHIL-GT is efficient in terms of computational boost and mini-batch capability over existing scalable Graph Transformer designs on large-scale benchmarks, while achieving top-tier effectiveness on both homophilous and heterophilous graphs.
• Abstract（参考訳）: Graph Transformer(GT)は最近、グラフ構造化データ学習のための有望なニューラルネットワークアーキテクチャとして登場した。 しかし、グラフスケールに関する2次複雑さを伴うグローバルアテンション機構は、大きなグラフへの広範な適用を妨げている。 現在の手法では,モデルアーキテクチャの変更や階層グラフデータの符号化によるGT拡張性の向上が試みられているが,解析の結果,これらのモデルがグラフスケール処理に関連する計算ボトルネックに悩まされていることが明らかとなった。 本稿では,GTのスケーラビリティ問題を対象として,グラフ計算を個別のステージに完全に分離することで,ネットワーク学習を簡略化するスケーラブルなグラフ変換器DHIL-GTを提案する。 DHIL-GTは、グラフラベルの階層構造が、局所性を促進しながらグローバルな接続を提供することによって、平易な隣接性よりも情報的であることを示し、特にヘテロフィリーのような複雑なグラフパターンを扱うのに適している。 さらに,グラフラベル上のモデル入力をエンドツーエンドにプリ計算するためのサブグラフサンプリングと位置符号化方式を設計する。 これにより、トレーニング段階はグラフ関連の計算を好意的に除去し、理想的なミニバッチ機能とGPU利用につながる。 特に、DHIL-GTの事前計算および訓練プロセスは、それぞれグラフエッジとノードの数に線形な複雑さを実現する。 大規模なベンチマークでは、DHIL-GTは既存のスケーラブルグラフトランスフォーマーの設計よりも計算の高速化とミニバッチの能力で効率的であり、ホモ親和性グラフとヘテロ親和性グラフの両方において最上位の有効性を実現している。

関連論文リスト

• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Transforming Graphs for Enhanced Attribute Clustering: An Innovative Graph Transformer-Based Method [8.989218350080844]
  本研究では、グラフクラスタリングのためのグラフトランスフォーマーオートエンコーダ(GTAGC)と呼ばれる革新的な手法を提案する。 Graph Auto-EncoderをGraph Transformerでマージすることで、GTAGCはノード間のグローバルな依存関係をキャプチャできる。 GTAGCのアーキテクチャはグラフの埋め込み、オートエンコーダ構造内のグラフ変換器の統合、クラスタリングコンポーネントを含んでいる。
  論文  参考訳（メタデータ） (2023-06-20T06:04:03Z)
• Hierarchical Transformer for Scalable Graph Learning [22.462712609402324]
  Graph Transformerは、グラフ表現学習のためのベンチマークで最先端のパフォーマンスを実証した。 グローバルな自己認識機構の複雑さは、より大きなグラフに適用する際のフルバッチトレーニングの課題となる。 これらの課題に対する解決策として,階層型スケーラブルグラフ変換器(HSGT)を紹介した。 HSGTはTransformerアーキテクチャを大規模グラフ上でノード表現学習タスクに拡張し、高い性能を維持している。
  論文  参考訳（メタデータ） (2023-05-04T14:23:22Z)
• Dynamic Graph Representation Learning via Graph Transformer Networks [41.570839291138114]
  動的グラフ変換器 (DGT) を用いた動的グラフ学習手法を提案する。 DGTは、グラフトポロジを効果的に学習し、暗黙のリンクをキャプチャするための時空間符号化を持つ。 DGTはいくつかの最先端のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-19T21:44:23Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)
• Hierarchical Adaptive Pooling by Capturing High-order Dependency for Graph Representation Learning [18.423192209359158]
  グラフニューラルネットワーク(GNN)はノードレベルのグラフ表現学習タスクでグラフ構造化データを扱うのに十分成熟していることが証明されている。 本稿では,グラフ構造に適応する階層型グラフレベルの表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-13T06:22:24Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings [53.58077686470096]
  グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。 実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T19:49:15Z)
• Adaptive Graph Auto-Encoder for General Data Clustering [90.8576971748142]
  グラフベースのクラスタリングは、クラスタリング領域において重要な役割を果たす。 グラフ畳み込みニューラルネットワークに関する最近の研究は、グラフ型データにおいて驚くべき成功を収めている。 本稿では,グラフの生成的視点に応じて適応的にグラフを構成する汎用データクラスタリングのためのグラフ自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-02-20T10:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。