論文の概要: A Comparative Study on Dynamic Graph Embedding based on Mamba and Transformers

• arxiv url: http://arxiv.org/abs/2412.11293v1
• Date: Sun, 15 Dec 2024 19:56:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:00:22.820052
• Title: A Comparative Study on Dynamic Graph Embedding based on Mamba and Transformers
• Title（参考訳）: マンバと変圧器を用いた動的グラフ埋め込みの比較検討
• Authors: Ashish Parmanand Pandey, Alan John Varghese, Sarang Patil, Mengjia Xu,
• Abstract要約: 本研究では,変圧器と最近提案されたMambaアーキテクチャを用いた動的グラフ埋め込み手法の比較解析を行った。 グラフ畳み込みネットワークを用いたTransformerG2G Augment、グラフ同型ネットワークエッジ畳み込みを用いたDG-Mamba、GDG-Mambaの3つの新しいモデルを導入する。 複数のベンチマークデータセットに対する実験により,Mambaベースのモデルが,リンク予測タスクにおけるトランスフォーマーベースのアプローチに匹敵する,あるいは優れた性能を達成できることが示されている。
• 参考スコア（独自算出の注目度）: 0.29687381456164
• License:
• Abstract: Dynamic graph embedding has emerged as an important technique for modeling complex time-evolving networks across diverse domains. While transformer-based models have shown promise in capturing long-range dependencies in temporal graph data, they face scalability challenges due to quadratic computational complexity. This study presents a comparative analysis of dynamic graph embedding approaches using transformers and the recently proposed Mamba architecture, a state-space model with linear complexity. We introduce three novel models: TransformerG2G augment with graph convolutional networks, DG-Mamba, and GDG-Mamba with graph isomorphism network edge convolutions. Our experiments on multiple benchmark datasets demonstrate that Mamba-based models achieve comparable or superior performance to transformer-based approaches in link prediction tasks while offering significant computational efficiency gains on longer sequences. Notably, DG-Mamba variants consistently outperform transformer-based models on datasets with high temporal variability, such as UCI, Bitcoin, and Reality Mining, while maintaining competitive performance on more stable graphs like SBM. We provide insights into the learned temporal dependencies through analysis of attention weights and state matrices, revealing the models' ability to capture complex temporal patterns. By effectively combining state-space models with graph neural networks, our work addresses key limitations of previous approaches and contributes to the growing body of research on efficient temporal graph representation learning. These findings offer promising directions for scaling dynamic graph embedding to larger, more complex real-world networks, potentially enabling new applications in areas such as social network analysis, financial modeling, and biological system dynamics.
• Abstract（参考訳）: 動的グラフ埋め込みは、様々な領域にまたがる複雑な時間進化ネットワークをモデル化するための重要な手法として登場した。 トランスフォーマーベースのモデルは、時間グラフデータの長距離依存をキャプチャする上で有望であるが、二次計算の複雑さのためにスケーラビリティの課題に直面している。 本研究では,変圧器を用いた動的グラフ埋め込み手法と,線形複雑度を持つ状態空間モデルであるMambaアーキテクチャの比較解析を行った。 グラフ畳み込みネットワークを用いたTransformerG2G Augment、グラフ同型ネットワークエッジ畳み込みを用いたDG-Mamba、GDG-Mambaの3つの新しいモデルを導入する。 複数のベンチマークデータセットを用いた実験により,より長いシーケンスで計算効率を向上しつつ,リンク予測タスクにおけるトランスフォーマーベースのアプローチに匹敵する,あるいは優れた性能が得られることが示された。 特に、DG-Mambaの変種は、UCI、Bitcoin、Real Miningのような高時間変動のデータセット上で、トランスフォーマーベースのモデルを一貫して上回り、SBMのようなより安定したグラフ上での競争性能を維持している。 我々は、注意重みと状態行列の分析を通じて学習した時間的依存関係に関する洞察を与え、複雑な時間的パターンをキャプチャするモデルの能力を明らかにする。 状態空間モデルとグラフニューラルネットワークを効果的に組み合わせることで、我々の研究は従来のアプローチの鍵となる限界に対処し、効率的な時間グラフ表現学習の研究に寄与する。 これらの発見は、より大きく、より複雑な現実世界のネットワークに動的グラフを埋め込むための有望な方向を提供する。

関連論文リスト

• Scalable Weibull Graph Attention Autoencoder for Modeling Document Networks [50.42343781348247]
  解析条件後部を解析し,推論精度を向上させるグラフポアソン因子分析法(GPFA)を開発した。 また,GPFAを多層構造に拡張したグラフPoisson gamma belief Network (GPGBN) を用いて,階層的な文書関係を複数の意味レベルで捉える。 本モデルでは,高品質な階層型文書表現を抽出し,様々なグラフ解析タスクにおいて有望な性能を実現する。
  論文  参考訳（メタデータ） (2024-10-13T02:22:14Z)
• MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
  本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。 具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。 実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-08-15T02:29:00Z)
• DyG-Mamba: Continuous State Space Modeling on Dynamic Graphs [59.434893231950205]
  動的グラフ学習は、現実世界のシステムにおける進化の法則を明らかにすることを目的としている。 動的グラフ学習のための新しい連続状態空間モデルDyG-Mambaを提案する。 我々はDyG-Mambaがほとんどのデータセットで最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-08-13T15:21:46Z)
• State Space Models on Temporal Graphs: A First-Principles Study [30.531930200222423]
  深層グラフ学習の研究は、動的挙動を示す実世界の複雑なシステムに応答して、静的グラフから時間グラフへ移行した。 RNNやTransformerのようなシーケンスモデルは、このような時間グラフをモデル化するための主要なバックボーンネットワークである。 時間グラフのダイナミクスをモデル化するためのグラフ状態空間モデルであるGraphSSMを開発した。
  論文  参考訳（メタデータ） (2024-06-03T02:56:11Z)
• Todyformer: Towards Holistic Dynamic Graph Transformers with Structure-Aware Tokenization [6.799413002613627]
  Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。 メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。 Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-02T23:05:30Z)
• Dynamic Graph Representation Learning via Edge Temporal States Modeling and Structure-reinforced Transformer [5.093187534912688]
  本稿では,動的グラフ表現学習のための新しいフレームワークであるRecurrent Structure-Reinforced Graph Transformer (RSGT)を紹介する。 RSGTは、繰り返し学習パラダイムを通じて、グラフトポロジと進化力学の両方をコードする時間ノード表現をキャプチャする。 離散動的グラフ表現学習におけるRSGTの優れた性能を示し、動的リンク予測タスクにおける既存の手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-20T04:12:50Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Spectral Transform Forms Scalable Transformer [1.19071399645846]
  この研究は自己注意の哲学から学び、情報的長距離時間相互作用を用いた効率的なスペクトルベースの神経ユニットを提案する。 開発されたスペクトルウィンドウユニット(SW)モデルは、保証された効率でスケーラブルな動的グラフを予測する。
  論文  参考訳（メタデータ） (2021-11-15T08:46:01Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation [56.73834525802723]
  軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。 LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。 我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-09T06:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。