論文の概要: Graph Mamba: Towards Learning on Graphs with State Space Models
- arxiv url: http://arxiv.org/abs/2402.08678v1
- Date: Tue, 13 Feb 2024 18:58:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 14:05:48.612281
- Title: Graph Mamba: Towards Learning on Graphs with State Space Models
- Title（参考訳）: Graph Mamba: ステートスペースモデルによるグラフ学習を目指して
- Authors: Ali Behrouz and Farnoosh Hashemi
- Abstract要約: 選択状態空間モデル(SSM)に基づくグラフニューラルネットワーク(GNN)の新しいクラスを提案する。
GMNは、長距離、小規模、大規模、ベンチマークのベンチマーク実験で優れたパフォーマンスを達成した。
- 参考スコア（独自算出の注目度）: 2.039632659682125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) have shown promising potential in graph
representation learning. The majority of GNNs define a local message-passing
mechanism, propagating information over the graph by stacking multiple layers.
These methods, however, are known to suffer from two major limitations:
over-squashing and poor capturing of long-range dependencies. Recently, Graph
Transformers (GTs) emerged as a powerful alternative to Message-Passing Neural
Networks (MPNNs). GTs, however, have quadratic computational cost, lack
inductive biases on graph structures, and rely on complex Positional/Structural
Encodings (SE/PE). In this paper, we show that while Transformers, complex
message-passing, and SE/PE are sufficient for good performance in practice,
neither is necessary. Motivated by the recent success of State Space Models
(SSMs), such as Mamba, we present Graph Mamba Networks (GMNs), a general
framework for a new class of GNNs based on selective SSMs. We discuss and
categorize the new challenges when adopting SSMs to graph-structured data, and
present four required and one optional steps to design GMNs, where we choose
(1) Neighborhood Tokenization, (2) Token Ordering, (3) Architecture of
Bidirectional Selective SSM Encoder, (4) Local Encoding, and dispensable (5) PE
and SE. We further provide theoretical justification for the power of GMNs.
Experiments demonstrate that despite much less computational cost, GMNs attain
an outstanding performance in long-range, small-scale, large-scale, and
heterophilic benchmark datasets.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)はグラフ表現学習において有望な可能性を示している。
GNNの大多数は、複数のレイヤを積み重ねることで、グラフ上の情報を伝搬するローカルメッセージパッシングメカニズムを定義している。
しかし、これらのメソッドには2つの大きな制限が伴うことが知られている。
最近、メッセージパッシングニューラルネットワーク(MPNN)の強力な代替手段としてグラフトランスフォーマー(GT)が登場した。
しかし、GTは2次計算コストを持ち、グラフ構造への帰納バイアスがなく、複雑な位置/構造エンコーディング(SE/PE)に依存している。
本稿では,トランスフォーマー,複雑なメッセージパッシング,SE/PEは実運用では十分な性能を示すが,どちらも必要ではないことを示す。
Mambaのような最近の状態空間モデル(SSM)の成功に触発された我々は、選択的なSSMに基づくGNNの新しいクラスのための一般的なフレームワークであるGraph Mamba Networks (GMNs)を紹介する。
グラフ構造データにssmを適用する際の新たな課題を考察し,(1)近傍トークン化,(2)トークン順序付け,(3)双方向選択型ssmエンコーダのアーキテクチャ,(4)局所エンコーディング,(5)pe,seのディスペンサを選択できるgmns設計に必要な4つのステップと1つのオプションステップを提案する。
さらに,gmnsのパワーの理論的正当性についても述べる。
GMNは計算コストがはるかに低いにもかかわらず、長距離、小規模、大規模、ヘテロ親和性のあるベンチマークデータセットにおいて優れた性能を発揮することを示した。
関連論文リスト
- What Can We Learn from State Space Models for Machine Learning on Graphs? [11.38076877943004]
グラフ構造化データに対する状態空間モデル(SSM)の原則拡張として,グラフ状態空間畳み込み(GSSC)を提案する。
グローバルな置換同変集合アグリゲーションと分解可能なグラフカーネルを活用することにより、GSSCはSSMの3つの利点を全て保持する。
グラフ機械学習のパワフルでスケーラブルなモデルとしてのGSSCの可能性を明らかにする。
論文 参考訳（メタデータ） (2024-06-09T15:03:36Z) - Spatio-Spectral Graph Neural Networks [50.277959544420455]
比スペクトルグラフネットワーク(S$2$GNN)を提案する。
S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。
S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
論文 参考訳（メタデータ） (2024-05-29T14:28:08Z) - Factor Graph Neural Networks [20.211455592922736]
グラフニューラルネットワーク(GNN)は、多くの現実世界のアプリケーションで大きな成功を収めながら、エンドツーエンドで強力な表現を学習することができる。
推論と学習の高次関係を効果的に捉えるためにFGNN(Facter Graph Neural Networks)を提案する。
論文 参考訳（メタデータ） (2023-08-02T00:32:02Z) - Transferability of Graph Neural Networks using Graphon and Sampling Theories [0.0]
グラフニューラルネットワーク(GNN)は、さまざまなドメインでグラフベースの情報を処理するための強力なツールとなっている。
GNNの望ましい特性は転送可能性であり、トレーニングされたネットワークは、その正確性を再トレーニングすることなく、異なるグラフから情報を交換することができる。
我々は,2層グラファイトニューラルネットワーク(WNN)アーキテクチャを明示することにより,GNNへのグラファイトの適用に寄与する。
論文 参考訳（メタデータ） (2023-07-25T02:11:41Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Graph Neural Networks with Learnable Structural and Positional
Representations [83.24058411666483]
任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。
ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。
両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
論文 参考訳（メタデータ） (2021-10-15T05:59:15Z) - Hierarchical graph neural nets can capture long-range interactions [8.067880298298185]
与えられたグラフの多重解像度表現を利用する階層的メッセージパッシングモデルについて検討する。
これにより、ローカル情報を失うことなく、大きな受容領域にまたがる特徴の学習が容易になる。
階層グラフネット(HGNet)を導入し、任意の2つの接続ノードに対して、最大対数長のメッセージパスパスが存在することを保証します。
論文 参考訳（メタデータ） (2021-07-15T16:24:22Z) - Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。
鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。
階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
論文 参考訳（メタデータ） (2020-09-08T13:11:07Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。