論文の概要: A Generalization of ViT/MLP-Mixer to Graphs

• arxiv url: http://arxiv.org/abs/2212.13350v1
• Date: Tue, 27 Dec 2022 03:27:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 15:17:59.810393
• Title: A Generalization of ViT/MLP-Mixer to Graphs
• Title（参考訳）: ViT/MLP-Mixerのグラフへの一般化
• Authors: Xiaoxin He, Bryan Hooi, Thomas Laurent, Adam Perold, Yann LeCun, Xavier Bresson
• Abstract要約: グラフニューラルネットワーク(GNN)は,グラフ表現学習の分野で大きな可能性を示している。 標準GNNには2つの大きな制限がある。 3つのキープロパティを持つGNNの新しいクラスであるGraph-Mixerを紹介します。
• 参考スコア（独自算出の注目度）: 32.86160915431453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have shown great potential in the field of graph representation learning. Standard GNNs define a local message-passing mechanism which propagates information over the whole graph domain by stacking multiple layers. This paradigm suffers from two major limitations, over-squashing and poor long-range dependencies, that can be solved using global attention but significantly increases the computational cost to quadratic complexity. In this work, we propose an alternative approach to overcome these structural limitations by leveraging the ViT/MLP-Mixer architectures introduced in computer vision. We introduce a new class of GNNs, called Graph MLP-Mixer, that holds three key properties. First, they capture long-range dependency and mitigate the issue of over-squashing as demonstrated on the Long Range Graph Benchmark (LRGB) and the TreeNeighbourMatch datasets. Second, they offer better speed and memory efficiency with a complexity linear to the number of nodes and edges, surpassing the related Graph Transformer and expressive GNN models. Third, they show high expressivity in terms of graph isomorphism as they can distinguish at least 3-WL non-isomorphic graphs. We test our architecture on 4 simulated datasets and 7 real-world benchmarks, and show highly competitive results on all of them.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,グラフ表現学習の分野で大きな可能性を示している。 標準GNNは、複数のレイヤを積み重ねることで、グラフ領域全体に情報を伝達するローカルメッセージパッシングメカニズムを定義する。 このパラダイムは、大まかな注意によって解決できるが、計算コストを2次複雑性に格段に増加させるという、2つの大きな制限に苦しめられている。 本稿では,コンピュータビジョンに導入されたViT/MLP-Mixerアーキテクチャを活用することで,これらの構造的制約を克服するための代替手法を提案する。 我々は3つのキー特性を持つグラフMLP-Mixerと呼ばれる新しいGNNのクラスを導入する。 まず、Long Range Graph Benchmark(LRGB)とTreeNeighbourMatchデータセットで示されているように、長距離依存性をキャプチャしてオーバースカッシングの問題を緩和する。 第二に、ノード数とエッジ数にリニアな複雑さを持つスピードとメモリ効率が向上し、関連するGraph Transformerと表現力のあるGNNモデルを上回っている。 第3に、少なくとも3-wlの非同型グラフを区別できるため、グラフ同型の観点から高い表現性を示す。 4つのシミュレートデータセットと7つの実世界のベンチマークでアーキテクチャをテストし、これらすべてに対して高い競合性を示す。

関連論文リスト

• Exploiting the Structure of Two Graphs with Graph Neural Networks [8.354731976915588]
  本稿では,異なるグラフ上に定義された2組の信号が存在するタスクを処理するための,グラフに基づく新しいディープラーニングアーキテクチャを提案する。 複数のグラフからの情報を活用することで、提案されたアーキテクチャは、データ内のさまざまなエンティティ間のより複雑な関係をキャプチャすることができる。
  論文  参考訳（メタデータ） (2024-11-07T19:39:39Z)
• Learning on Large Graphs using Intersecting Communities [13.053266613831447]
  MPNNは、各ノードの隣人からのメッセージを集約することで、入力グラフ内の各ノードの表現を反復的に更新する。 MPNNは、あまりスパースではないため、すぐに大きなグラフの禁止になるかもしれない。 本稿では,入力グラフを交差するコミュニティグラフ (ICG) として近似することを提案する。
  論文  参考訳（メタデータ） (2024-05-31T09:26:26Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Graph Sparsification via Mixture of Graphs [67.40204130771967]
  そこで我々はMixture-of-Graphs (MoG)を導入し、各ノードに対して動的に調整されたプルーニングソリューションを選択する。 MoGには複数のスパシファイアの専門家が組み込まれており、それぞれが独自のスパーシリティレベルとプルーニング基準によって特徴付けられ、各ノードに対して適切な専門家を選択する。 5つのGNNを備えた4つの大規模OGBデータセットと2つのスーパーピクセルデータセットの実験により、MoGはより高い空間レベルのサブグラフを識別することを示した。
  論文  参考訳（メタデータ） (2024-05-23T07:40:21Z)
• SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention [1.4126245676224705]
  Graph Transformerは、Graph Neural Networks(GNN)固有の制限を軽減するための、有望なソリューションとして登場した。 本稿では,SNNとグラフ変換器の統合に関する新たな知見を提案し,Spiking Graph Attention (SGA) モジュールを設計する。 SpikeGraphormerは、さまざまなデータセットにわたる既存の最先端アプローチを一貫して上回る。
  論文  参考訳（メタデータ） (2024-03-21T03:11:53Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Fused Gromov-Wasserstein Graph Mixup for Graph-level Classifications [44.15102300886821]
  我々はFGWMixupと呼ばれる新しいグラフ混合アルゴリズムを提案し、FGWMixupはFused Gromov-Wasserstein計量空間のソースグラフの中間点を求める。 5つのデータセットで行った実験により、FGWMixupはGNNの一般化性と堅牢性を効果的に改善することが示された。
  論文  参考訳（メタデータ） (2023-06-28T07:00:12Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。