論文の概要: A Generalization of ViT/MLP-Mixer to Graphs
- arxiv url: http://arxiv.org/abs/2212.13350v1
- Date: Tue, 27 Dec 2022 03:27:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 15:17:59.810393
- Title: A Generalization of ViT/MLP-Mixer to Graphs
- Title(参考訳): ViT/MLP-Mixerのグラフへの一般化
- Authors: Xiaoxin He, Bryan Hooi, Thomas Laurent, Adam Perold, Yann LeCun,
Xavier Bresson
- Abstract要約: グラフニューラルネットワーク(GNN)は,グラフ表現学習の分野で大きな可能性を示している。
標準GNNには2つの大きな制限がある。
3つのキープロパティを持つGNNの新しいクラスであるGraph-Mixerを紹介します。
- 参考スコア(独自算出の注目度): 32.86160915431453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) have shown great potential in the field of graph
representation learning. Standard GNNs define a local message-passing mechanism
which propagates information over the whole graph domain by stacking multiple
layers. This paradigm suffers from two major limitations, over-squashing and
poor long-range dependencies, that can be solved using global attention but
significantly increases the computational cost to quadratic complexity. In this
work, we propose an alternative approach to overcome these structural
limitations by leveraging the ViT/MLP-Mixer architectures introduced in
computer vision. We introduce a new class of GNNs, called Graph MLP-Mixer, that
holds three key properties. First, they capture long-range dependency and
mitigate the issue of over-squashing as demonstrated on the Long Range Graph
Benchmark (LRGB) and the TreeNeighbourMatch datasets. Second, they offer better
speed and memory efficiency with a complexity linear to the number of nodes and
edges, surpassing the related Graph Transformer and expressive GNN models.
Third, they show high expressivity in terms of graph isomorphism as they can
distinguish at least 3-WL non-isomorphic graphs. We test our architecture on 4
simulated datasets and 7 real-world benchmarks, and show highly competitive
results on all of them.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は,グラフ表現学習の分野で大きな可能性を示している。
標準GNNは、複数のレイヤを積み重ねることで、グラフ領域全体に情報を伝達するローカルメッセージパッシングメカニズムを定義する。
このパラダイムは、大まかな注意によって解決できるが、計算コストを2次複雑性に格段に増加させるという、2つの大きな制限に苦しめられている。
本稿では,コンピュータビジョンに導入されたViT/MLP-Mixerアーキテクチャを活用することで,これらの構造的制約を克服するための代替手法を提案する。
我々は3つのキー特性を持つグラフMLP-Mixerと呼ばれる新しいGNNのクラスを導入する。
まず、Long Range Graph Benchmark(LRGB)とTreeNeighbourMatchデータセットで示されているように、長距離依存性をキャプチャしてオーバースカッシングの問題を緩和する。
第二に、ノード数とエッジ数にリニアな複雑さを持つスピードとメモリ効率が向上し、関連するGraph Transformerと表現力のあるGNNモデルを上回っている。
第3に、少なくとも3-wlの非同型グラフを区別できるため、グラフ同型の観点から高い表現性を示す。
4つのシミュレートデータセットと7つの実世界のベンチマークでアーキテクチャをテストし、これらすべてに対して高い競合性を示す。
関連論文リスト
- Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。
この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。
ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文 参考訳(メタデータ) (2023-12-18T11:19:23Z) - HUGE: Huge Unsupervised Graph Embeddings with TPUs [6.108914274067702]
グラフ埋め込み(Graph Embedding)は、グラフ内のノードを連続的に表現するプロセスである。
高帯域幅メモリを利用した高性能グラフ埋め込みアーキテクチャを提案する。
実・合成大規模データセット上での埋め込み空間の品質を検証する。
論文 参考訳(メタデータ) (2023-07-26T20:29:15Z) - Fused Gromov-Wasserstein Graph Mixup for Graph-level Classifications [44.15102300886821]
我々はFGWMixupと呼ばれる新しいグラフ混合アルゴリズムを提案し、FGWMixupはFused Gromov-Wasserstein計量空間のソースグラフの中間点を求める。
5つのデータセットで行った実験により、FGWMixupはGNNの一般化性と堅牢性を効果的に改善することが示された。
論文 参考訳(メタデータ) (2023-06-28T07:00:12Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳(メタデータ) (2023-06-14T09:21:15Z) - Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。
Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-05-18T07:27:18Z) - Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit
Diversity Modeling [60.0185734837814]
グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。
GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。
本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
論文 参考訳(メタデータ) (2023-04-06T01:09:36Z) - Representing Long-Range Context for Graph Neural Networks with Global
Attention [37.212747564546156]
本稿では,トランスフォーマーに基づく自己認識を用いて,長距離ペア関係の学習を提案する。
提案手法はGraphTransと呼ばれ,標準のGNNモジュールに代えて置換不変なTransformerモジュールを適用している。
その結果,グラフ構造を持たない純粋学習に基づくアプローチは,グラフ上の高レベルな長距離関係を学習するのに適している可能性が示唆された。
論文 参考訳(メタデータ) (2022-01-21T18:16:21Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳(メタデータ) (2021-10-29T19:55:12Z) - GNNAutoScale: Scalable and Expressive Graph Neural Networks via
Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。
ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。
ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文 参考訳(メタデータ) (2021-06-10T09:26:56Z) - Graph Networks with Spectral Message Passing [1.0742675209112622]
本稿では,空間領域とスペクトル領域の両方にメッセージパッシングを適用するSpectral Graph Networkを紹介する。
その結果,spectrum gnは効率のよいトレーニングを促進し,より多くのパラメータを持つにもかかわらず,少ないトレーニングイテレーションで高いパフォーマンスを達成できることがわかった。
論文 参考訳(メタデータ) (2020-12-31T21:33:17Z) - Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。
最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。
本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
論文 参考訳(メタデータ) (2020-11-19T06:03:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。