論文の概要: A Scalable and Effective Alternative to Graph Transformers

• arxiv url: http://arxiv.org/abs/2406.12059v1
• Date: Mon, 17 Jun 2024 19:57:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 23:57:20.010015
• Title: A Scalable and Effective Alternative to Graph Transformers
• Title（参考訳）: グラフ変換器のスケーラブルで効果的な代替手段
• Authors: Kaan Sancak, Zhigang Hua, Jin Fang, Yan Xie, Andrey Malevich, Bo Long, Muhammed Fatih Balin, Ümit V. Çatalyürek,
• Abstract要約: グラフ変換器(GT)が導入された。 GTは、グラフ内のノード数の複雑さに悩まされ、大きなグラフに適用できなくなる。 GTに代わるスケーラブルで効果的なグラフ拡張コンテキスト演算子(GECO)を提案する。
• 参考スコア（独自算出の注目度）: 19.018320937729264
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Graph Neural Networks (GNNs) have shown impressive performance in graph representation learning, but they face challenges in capturing long-range dependencies due to their limited expressive power. To address this, Graph Transformers (GTs) were introduced, utilizing self-attention mechanism to effectively model pairwise node relationships. Despite their advantages, GTs suffer from quadratic complexity w.r.t. the number of nodes in the graph, hindering their applicability to large graphs. In this work, we present Graph-Enhanced Contextual Operator (GECO), a scalable and effective alternative to GTs that leverages neighborhood propagation and global convolutions to effectively capture local and global dependencies in quasilinear time. Our study on synthetic datasets reveals that GECO reaches 169x speedup on a graph with 2M nodes w.r.t. optimized attention. Further evaluations on diverse range of benchmarks showcase that GECO scales to large graphs where traditional GTs often face memory and time limitations. Notably, GECO consistently achieves comparable or superior quality compared to baselines, improving the SOTA up to 4.5%, and offering a scalable and effective solution for large-scale graph learning.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ表現学習において顕著なパフォーマンスを示しているが、表現力の制限により、長距離依存をキャプチャする上での課題に直面している。 これを解決するために、グラフ変換器(GT)が導入された。 これらの利点にもかかわらず、GTはグラフ内のノード数という二次的な複雑さに悩まされ、大きなグラフに適用できなくなる。 本研究では,グラフ拡張コンテキスト演算子(GECO)を提案する。これはGTのスケーラブルで効果的な代替手段であり,近隣の伝播とグローバルな畳み込みを利用して,準線形時間で局所的およびグローバルな依存関係を効果的にキャプチャする。 合成データセットについて検討した結果,GECOは2Mノードを最適化したグラフ上で169倍の高速化を実現していることがわかった。 さまざまなベンチマークに関するさらなる評価は、GECOが従来のGTがメモリと時間制限に直面している大きなグラフにスケールすることを示している。 特にGECOは、ベースラインに比べて一貫して同等または優れた品質を実現し、SOTAを4.5%まで改善し、大規模グラフ学習のためのスケーラブルで効果的なソリューションを提供する。

関連論文リスト

• GRE^2-MDCL: Graph Representation Embedding Enhanced via Multidimensional Contrastive Learning [0.0]
  グラフ表現学習は、ノードをベクトル表現にマッピングする際にグラフトポロジを保存する強力なツールとして登場した。 現在のグラフニューラルネットワークモデルは、広範なラベル付きデータを必要とするという課題に直面している。 多次元コントラスト学習によるグラフ表現埋め込みを提案する。
  論文  参考訳（メタデータ） (2024-09-12T03:09:05Z)
• What Can We Learn from State Space Models for Machine Learning on Graphs? [11.38076877943004]
  グラフ構造化データに対する状態空間モデル(SSM)の原則拡張として,グラフ状態空間畳み込み(GSSC)を提案する。 グローバルな置換同変集合アグリゲーションと分解可能なグラフカーネルを活用することにより、GSSCはSSMの3つの利点を全て保持する。 グラフ機械学習のパワフルでスケーラブルなモデルとしてのGSSCの可能性を明らかにする。
  論文  参考訳（メタデータ） (2024-06-09T15:03:36Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Graph Condensation for Open-World Graph Learning [48.38802327346445]
  グラフ凝縮(GC)は、グラフニューラルネットワーク(GNN)を効率的に訓練するための有望な加速ソリューションとして登場した。 既存のGCメソッドは、単に観測された静的グラフ分布と凝縮グラフの整合性に制限される。 しかし、現実のシナリオでは、グラフは動的で常に進化しており、新しいノードとエッジが継続的に統合されている。 グラフパターンの進化をシミュレートするために構造対応分散シフトを統合する,堅牢なGCフレームワークであるOpenGCを提案する。
  論文  参考訳（メタデータ） (2024-05-27T09:47:09Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
  論文  参考訳（メタデータ） (2023-03-14T20:35:45Z)
• Graph Generative Model for Benchmarking Graph Neural Networks [73.11514658000547]
  本稿では,プライバシ制御により実世界のグラフの分布を学習し,再現する新しいグラフ生成モデルを提案する。 我々のモデルは、GNNモデルのベンチマークに効果的に使用できる大規模な実世界のグラフの、プライバシ制御された合成代用をうまく生成することができる。
  論文  参考訳（メタデータ） (2022-07-10T06:42:02Z)
• GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
  GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。 ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。 ガスは大規模グラフ上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-06-10T09:26:56Z)
• CoSimGNN: Towards Large-scale Graph Similarity Computation [5.17905821006887]
  グラフニューラルネットワーク(GNN)はこのタスクにデータ駆動型ソリューションを提供する。 既存のGNNベースの手法は、それぞれ2つのグラフを埋め込んだり、グラフ全体のクロスグラフインタラクションをデプロイしたりするが、まだ競合する結果が得られない。 このフレームワークは,まず適応的なプーリング操作で大きなグラフを埋め込んで粗くし,最後に類似点を求めるために粗いグラフにきめ細かな相互作用を展開させる。
  論文  参考訳（メタデータ） (2020-05-14T16:33:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。