論文の概要: Graph-Mamba: Towards Long-Range Graph Sequence Modeling with Selective
State Spaces
- arxiv url: http://arxiv.org/abs/2402.00789v1
- Date: Thu, 1 Feb 2024 17:21:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 14:11:42.760120
- Title: Graph-Mamba: Towards Long-Range Graph Sequence Modeling with Selective
State Spaces
- Title（参考訳）: Graph-Mamba: 選択状態空間を用いた長距離グラフシーケンスモデリングを目指して
- Authors: Chloe Wang, Oleksii Tsepa, Jun Ma, Bo Wang
- Abstract要約: グラフネットワークにおける長期コンテキストモデリングを強化する最初の試みであるGraph-Mambaを紹介する。
グラフ中心のノード優先順位付けと置換戦略を定式化し、文脈認識推論を強化する。
10のベンチマークデータセットの実験により、Graph-Mambaは長距離グラフ予測タスクにおいて最先端の手法より優れていることが示された。
- 参考スコア（独自算出の注目度）: 4.928791850200171
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Attention mechanisms have been widely used to capture long-range dependencies
among nodes in Graph Transformers. Bottlenecked by the quadratic computational
cost, attention mechanisms fail to scale in large graphs. Recent improvements
in computational efficiency are mainly achieved by attention sparsification
with random or heuristic-based graph subsampling, which falls short in
data-dependent context reasoning. State space models (SSMs), such as Mamba,
have gained prominence for their effectiveness and efficiency in modeling
long-range dependencies in sequential data. However, adapting SSMs to
non-sequential graph data presents a notable challenge. In this work, we
introduce Graph-Mamba, the first attempt to enhance long-range context modeling
in graph networks by integrating a Mamba block with the input-dependent node
selection mechanism. Specifically, we formulate graph-centric node
prioritization and permutation strategies to enhance context-aware reasoning,
leading to a substantial improvement in predictive performance. Extensive
experiments on ten benchmark datasets demonstrate that Graph-Mamba outperforms
state-of-the-art methods in long-range graph prediction tasks, with a fraction
of the computational cost in both FLOPs and GPU memory consumption. The code
and models are publicly available at https://github.com/bowang-lab/Graph-Mamba.
- Abstract（参考訳）: グラフトランスフォーマーのノード間の長距離依存性を捉えるために、アテンション機構が広く使われている。
二次計算コストに悩まされ、注意機構は大きなグラフでスケールできない。
近年の計算効率の向上は、主に、データ依存のコンテキスト推論において不足するランダムまたはヒューリスティックなグラフサブサンプリングによる注意分散によって達成されている。
Mambaのような状態空間モデル(SSM)は、シーケンシャルデータにおける長距離依存をモデル化する上での有効性と効率性で有名である。
しかし、SSMを非逐次グラフデータに適用することは顕著な課題である。
本研究では,入力依存ノード選択機構とMambaブロックを統合することにより,グラフネットワークにおける長距離コンテキストモデリングを強化する最初の試みであるGraph-Mambaを紹介する。
具体的には、グラフ中心のノード優先順位付けと置換戦略を定式化し、文脈認識推論を強化し、予測性能を大幅に改善する。
10のベンチマークデータセットに対する大規模な実験により、Graph-Mambaは長期グラフ予測タスクにおいて最先端の手法よりも優れており、FLOPとGPUメモリの両方で計算コストのごく一部を占めている。
コードとモデルはhttps://github.com/bowang-lab/graph-mambaで公開されている。
関連論文リスト
- DyG-Mamba: Continuous State Space Modeling on Dynamic Graphs [59.434893231950205]
動的グラフ学習は、現実世界のシステムにおける進化の法則を明らかにすることを目的としている。
動的グラフ学習のための新しい連続状態空間モデルDyG-Mambaを提案する。
我々はDyG-Mambaがほとんどのデータセットで最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-08-13T15:21:46Z) - What Can We Learn from State Space Models for Machine Learning on Graphs? [11.38076877943004]
グラフ構造化データに対する状態空間モデル(SSM)の原則拡張として,グラフ状態空間畳み込み(GSSC)を提案する。
グローバルな置換同変集合アグリゲーションと分解可能なグラフカーネルを活用することにより、GSSCはSSMの3つの利点を全て保持する。
グラフ機械学習のパワフルでスケーラブルなモデルとしてのGSSCの可能性を明らかにする。
論文 参考訳（メタデータ） (2024-06-09T15:03:36Z) - Sparsity exploitation via discovering graphical models in multi-variate
time-series forecasting [1.2762298148425795]
本稿では,グラフ生成モジュールとGNN予測モジュールを含む分離学習手法を提案する。
まず、Graphical Lasso(またはGraphLASSO)を使用して、データから空間パターンを直接利用してグラフ構造を構築します。
次に、これらのグラフ構造と入力データをGCRN(Graph Convolutional Recurrent Network)に適合させて予測モデルをトレーニングする。
論文 参考訳（メタデータ） (2023-06-29T16:48:00Z) - Distributed Graph Embedding with Information-Oriented Random Walks [16.290803469068145]
グラフ埋め込みはグラフノードを低次元ベクトルにマッピングし、機械学習タスクで広く採用されている。
数十億のエッジグラフを埋め込むためにスケール可能な,汎用的で分散された情報中心のランダムウォークベースのグラフ埋め込みフレームワークであるDistGERを提案する。
D DistGERは2.33x-129x加速、機械間通信の45%削減、下流タスクの10%改善を示す。
論文 参考訳（メタデータ） (2023-03-28T03:11:21Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-29T19:55:12Z) - GNNAutoScale: Scalable and Expressive Graph Neural Networks via
Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。
ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。
ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文 参考訳（メタデータ） (2021-06-10T09:26:56Z) - Accurate Learning of Graph Representations with Graph Multiset Pooling [45.72542969364438]
本稿では,その構造的依存関係に応じてノード間の相互作用をキャプチャするグラフマルチセットトランス (GMT) を提案する。
実験の結果,GMTはグラフ分類ベンチマークにおいて,最先端のグラフプーリング法を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-02-23T07:45:58Z) - CoSimGNN: Towards Large-scale Graph Similarity Computation [5.17905821006887]
グラフニューラルネットワーク(GNN)はこのタスクにデータ駆動型ソリューションを提供する。
既存のGNNベースの手法は、それぞれ2つのグラフを埋め込んだり、グラフ全体のクロスグラフインタラクションをデプロイしたりするが、まだ競合する結果が得られない。
このフレームワークは,まず適応的なプーリング操作で大きなグラフを埋め込んで粗くし,最後に類似点を求めるために粗いグラフにきめ細かな相互作用を展開させる。
論文 参考訳（メタデータ） (2020-05-14T16:33:13Z) - Adaptive Graph Auto-Encoder for General Data Clustering [90.8576971748142]
グラフベースのクラスタリングは、クラスタリング領域において重要な役割を果たす。
グラフ畳み込みニューラルネットワークに関する最近の研究は、グラフ型データにおいて驚くべき成功を収めている。
本稿では,グラフの生成的視点に応じて適応的にグラフを構成する汎用データクラスタリングのためのグラフ自動エンコーダを提案する。
論文 参考訳（メタデータ） (2020-02-20T10:11:28Z) - Block-Approximated Exponential Random Graphs [77.4792558024487]
指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。
本稿では,非自明なERGに対する近似フレームワークを提案する。
我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
論文 参考訳（メタデータ） (2020-02-14T11:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。