論文の概要: Graph Transformers for Large Graphs

• arxiv url: http://arxiv.org/abs/2312.11109v1
• Date: Mon, 18 Dec 2023 11:19:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 20:16:34.073777
• Title: Graph Transformers for Large Graphs
• Title（参考訳）: 大規模グラフ用グラフトランスフォーマー
• Authors: Vijay Prakash Dwivedi, Yozen Liu, Anh Tuan Luu, Xavier Bresson, Neil Shah, Tong Zhao
• Abstract要約: この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
• 参考スコア（独自算出の注目度）: 57.19338459218758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have recently emerged as powerful neural networks for graph learning, showcasing state-of-the-art performance on several graph property prediction tasks. However, these results have been limited to small-scale graphs, where the computational feasibility of the global attention mechanism is possible. The next goal is to scale up these architectures to handle very large graphs on the scale of millions or even billions of nodes. With large-scale graphs, global attention learning is proven impractical due to its quadratic complexity w.r.t. the number of nodes. On the other hand, neighborhood sampling techniques become essential to manage large graph sizes, yet finding the optimal trade-off between speed and accuracy with sampling techniques remains challenging. This work advances representation learning on single large-scale graphs with a focus on identifying model characteristics and critical design constraints for developing scalable graph transformer (GT) architectures. We argue such GT requires layers that can adeptly learn both local and global graph representations while swiftly sampling the graph topology. As such, a key innovation of this work lies in the creation of a fast neighborhood sampling technique coupled with a local attention mechanism that encompasses a 4-hop reception field, but achieved through just 2-hop operations. This local node embedding is then integrated with a global node embedding, acquired via another self-attention layer with an approximate global codebook, before finally sent through a downstream layer for node predictions. The proposed GT framework, named LargeGT, overcomes previous computational bottlenecks and is validated on three large-scale node classification benchmarks. We report a 3x speedup and 16.8% performance gain on ogbn-products and snap-patents, while we also scale LargeGT on ogbn-papers100M with a 5.9% performance improvement.
• Abstract（参考訳）: トランスフォーマーは最近、グラフプロパティ予測タスクにおける最先端のパフォーマンスを示す、グラフ学習のための強力なニューラルネットワークとして登場した。 しかし、これらの結果は、グローバルアテンション機構の計算可能性が可能な小規模グラフに限られている。 次の目標は、これらのアーキテクチャをスケールアップして、数百万から数十億のノード規模の非常に大きなグラフを処理することです。 大規模グラフでは、ノード数の2次複雑さのため、グローバルアテンション学習は非現実的であることが証明されている。 一方, 大規模なグラフサイズ管理には近傍サンプリング技術が不可欠だが, サンプリング技術による速度と精度の最適なトレードオフを見つけることは困難である。 本研究は,スケーラブルグラフトランスフォーマ(gt)アーキテクチャを開発する上で,モデル特性の同定と重要な設計制約に着目し,単一大規模グラフの表現学習を前進させる。 このようなGTは、グラフトポロジーを迅速にサンプリングしながら、局所グラフ表現と大域グラフ表現の両方を十分に学習できる層を必要とする。 このようにして、本研究の重要な革新は、4ホップの受信フィールドを含むが、2ホップの操作のみによって達成されるローカルアテンション機構と組み合わされた高速な近傍サンプリング技法の作成である。 このローカルノードの埋め込みは、グローバルノードの埋め込みと統合され、近似的なグローバルコードブックを持つ別のセルフアテンション層を介して取得され、最終的にノード予測のために下流層に送信される。 提案したGTフレームワークはLargeGTと呼ばれ、従来の計算ボトルネックを克服し、3つの大規模ノード分類ベンチマークで検証されている。 ogbn-products と snap-patents の 3 倍の高速化と 16.8% の性能向上を報告し, ogbn-papers 100M で LargeGT を5.9% の性能改善で拡張した。

関連論文リスト

• A Scalable and Effective Alternative to Graph Transformers [19.018320937729264]
  グラフ変換器(GT)が導入された。 GTは、グラフ内のノード数の複雑さに悩まされ、大きなグラフに適用できなくなる。 GTに代わるスケーラブルで効果的なグラフ拡張コンテキスト演算子(GECO)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T19:57:34Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural Properties of Graphs [5.410321469222541]
  産業規模グラフのためのサンプリングベースGNN学習システムであるGLISPを提案する。 GLISPは、グラフパーティショナ、グラフサンプリングサービス、グラフ推論エンジンの3つのコアコンポーネントで構成されている。 実験の結果、GLISPはトレーニングと推論タスクのために既存のGNNシステムよりも最大6.53タイム、70.77タイムのスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-01-06T02:59:24Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks [18.772128348519566]
  グラフニューラルネットワーク(GNN)のための集約型混合精度量子化(rm A2Q$)を提案する。 本手法は,ノードレベルのタスクとグラフレベルのタスクで最大11.4%,9.5%の精度向上を実現し,専用ハードウェアアクセラレータで最大2倍の高速化を実現する。
  論文  参考訳（メタデータ） (2023-02-01T02:54:35Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• Isometric Graph Neural Networks [5.306334746787569]
  我々はIsometric Graph Neural Networks (IGNN) の学習手法を提案する。 IGNNは、任意のGNNアルゴリズムがノード間の距離を反映した表現を生成するために、入力表現空間と損失関数を変更する必要がある。 我々はケンドールのタウ(KT)の400%まで、一貫した実質的な改善を観察する。
  論文  参考訳（メタデータ） (2020-06-16T22:51:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。