論文の概要: What Can We Learn from State Space Models for Machine Learning on Graphs?
- arxiv url: http://arxiv.org/abs/2406.05815v1
- Date: Sun, 9 Jun 2024 15:03:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 17:57:33.309275
- Title: What Can We Learn from State Space Models for Machine Learning on Graphs?
- Title（参考訳）: グラフによる機械学習のための状態空間モデルから何が学べるか?
- Authors: Yinan Huang, Siqi Miao, Pan Li,
- Abstract要約: グラフ構造化データに対する状態空間モデル(SSM)の原則拡張として,グラフ状態空間畳み込み(GSSC)を提案する。
グローバルな置換同変集合アグリゲーションと分解可能なグラフカーネルを活用することにより、GSSCはSSMの3つの利点を全て保持する。
グラフ機械学習のパワフルでスケーラブルなモデルとしてのGSSCの可能性を明らかにする。
- 参考スコア（独自算出の注目度）: 11.38076877943004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning on graphs has recently found extensive applications across domains. However, the commonly used Message Passing Neural Networks (MPNNs) suffer from limited expressive power and struggle to capture long-range dependencies. Graph transformers offer a strong alternative due to their global attention mechanism, but they come with great computational overheads, especially for large graphs. In recent years, State Space Models (SSMs) have emerged as a compelling approach to replace full attention in transformers to model sequential data. It blends the strengths of RNNs and CNNs, offering a) efficient computation, b) the ability to capture long-range dependencies, and c) good generalization across sequences of various lengths. However, extending SSMs to graph-structured data presents unique challenges due to the lack of canonical node ordering in graphs. In this work, we propose Graph State Space Convolution (GSSC) as a principled extension of SSMs to graph-structured data. By leveraging global permutation-equivariant set aggregation and factorizable graph kernels that rely on relative node distances as the convolution kernels, GSSC preserves all three advantages of SSMs. We demonstrate the provably stronger expressiveness of GSSC than MPNNs in counting graph substructures and show its effectiveness across 10 real-world, widely used benchmark datasets, where GSSC achieves best results on 7 out of 10 datasets with all significant improvements compared to the state-of-the-art baselines and second-best results on the other 3 datasets. Our findings highlight the potential of GSSC as a powerful and scalable model for graph machine learning. Our code is available at https://github.com/Graph-COM/GSSC.
- Abstract（参考訳）: グラフ上の機械学習は、最近、ドメインにまたがる広範なアプリケーションを発見した。
しかし、一般的に使用されるMPNN(Message Passing Neural Networks)は、表現力の制限と長距離依存関係の取得に苦慮している。
グラフトランスフォーマーは、グローバルなアテンションメカニズムのために強力な代替手段を提供するが、特に大きなグラフの場合、計算オーバーヘッドが非常に大きい。
近年、状態空間モデル (State Space Models, SSM) は、シーケンシャルデータをモデル化するためにトランスフォーマーの完全な注意を置き換えるための魅力的なアプローチとして出現している。
RNNとCNNの強みを融合して提供する
a) 効率的な計算
b) 長距離の依存関係を捕捉する能力,及び
c) 様々な長さの列にまたがる優れた一般化
しかし、SSMをグラフ構造データに拡張することは、グラフにおける標準ノードの順序付けが欠如しているため、ユニークな課題である。
本研究では,グラフ構造化データに対するSSMの原則拡張として,GSSC(Graph State Space Convolution)を提案する。
グローバルな置換同変集合アグリゲーションと、相対ノード距離に依存する分解可能なグラフカーネルを畳み込みカーネルとして利用することにより、GSSCはSSMの3つの利点を全て保持する。
グラフサブストラクチャのカウントにおいて,GSSCがMPNNよりも圧倒的に強い表現力を示し,その効果を実世界の10のベンチマークデータセットで示し,GSSCは10のデータセット中7のベストを達成している。
グラフ機械学習のパワフルでスケーラブルなモデルとしてのGSSCの可能性を明らかにする。
私たちのコードはhttps://github.com/Graph-COM/GSSC.orgで公開されています。
関連論文リスト
- A Scalable and Effective Alternative to Graph Transformers [19.018320937729264]
グラフ変換器(GT)が導入された。
GTは、グラフ内のノード数の複雑さに悩まされ、大きなグラフに適用できなくなる。
GTに代わるスケーラブルで効果的なグラフ拡張コンテキスト演算子(GECO)を提案する。
論文 参考訳（メタデータ） (2024-06-17T19:57:34Z) - Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳（メタデータ） (2024-05-27T17:52:12Z) - Graph Mamba: Towards Learning on Graphs with State Space Models [2.039632659682125]
選択状態空間モデル(SSM)に基づくグラフニューラルネットワーク(GNN)の新しいクラスを提案する。
GMNは、長距離、小規模、大規模、ベンチマークのベンチマーク実験で優れたパフォーマンスを達成した。
論文 参考訳（メタデータ） (2024-02-13T18:58:17Z) - Graph-Mamba: Towards Long-Range Graph Sequence Modeling with Selective
State Spaces [4.928791850200171]
グラフネットワークにおける長期コンテキストモデリングを強化する最初の試みであるGraph-Mambaを紹介する。
グラフ中心のノード優先順位付けと置換戦略を定式化し、文脈認識推論を強化する。
10のベンチマークデータセットの実験により、Graph-Mambaは長距離グラフ予測タスクにおいて最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-02-01T17:21:53Z) - GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural
Properties of Graphs [5.410321469222541]
産業規模グラフのためのサンプリングベースGNN学習システムであるGLISPを提案する。
GLISPは、グラフパーティショナ、グラフサンプリングサービス、グラフ推論エンジンの3つのコアコンポーネントで構成されている。
実験の結果、GLISPはトレーニングと推論タスクのために既存のGNNシステムよりも最大6.53タイム、70.77タイムのスピードアップを達成した。
論文 参考訳（メタデータ） (2024-01-06T02:59:24Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Representing Long-Range Context for Graph Neural Networks with Global
Attention [37.212747564546156]
本稿では,トランスフォーマーに基づく自己認識を用いて,長距離ペア関係の学習を提案する。
提案手法はGraphTransと呼ばれ,標準のGNNモジュールに代えて置換不変なTransformerモジュールを適用している。
その結果,グラフ構造を持たない純粋学習に基づくアプローチは,グラフ上の高レベルな長距離関係を学習するのに適している可能性が示唆された。
論文 参考訳（メタデータ） (2022-01-21T18:16:21Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-29T19:55:12Z) - GNNAutoScale: Scalable and Expressive Graph Neural Networks via
Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。
ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。
ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文 参考訳（メタデータ） (2021-06-10T09:26:56Z) - Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文 参考訳（メタデータ） (2020-10-22T20:13:43Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳（メタデータ） (2020-10-19T21:51:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。