論文の概要: DyGMamba: Efficiently Modeling Long-Term Temporal Dependency on Continuous-Time Dynamic Graphs with State Space Models
- arxiv url: http://arxiv.org/abs/2408.04713v2
- Date: Thu, 3 Oct 2024 22:37:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 12:11:36.706452
- Title: DyGMamba: Efficiently Modeling Long-Term Temporal Dependency on Continuous-Time Dynamic Graphs with State Space Models
- Title（参考訳）: DyGMamba: 状態空間モデルによる連続時間動的グラフの長期的依存を効果的にモデル化する
- Authors: Zifeng Ding, Yifeng Li, Yuan He, Antonio Norelli, Jingcheng Wu, Volker Tresp, Yunpu Ma, Michael Bronstein,
- Abstract要約: 連続時間動的グラフ(CTDG)の学習モデルであるDyGMambaを提案する。
DyGMambaは、ほとんどのケースで最先端を実現していることを示す。
- 参考スコア（独自算出の注目度）: 26.989676396289145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning useful representations for continuous-time dynamic graphs (CTDGs) is challenging, due to the concurrent need to span long node interaction histories and grasp nuanced temporal details. In particular, two problems emerge: (1) Encoding longer histories requires more computational resources, making it crucial for CTDG models to maintain low computational complexity to ensure efficiency; (2) Meanwhile, more powerful models are needed to identify and select the most critical temporal information within the extended context provided by longer histories. To address these problems, we propose a CTDG representation learning model named DyGMamba, originating from the popular Mamba state space model (SSM). DyGMamba first leverages a node-level SSM to encode the sequence of historical node interactions. Another time-level SSM is then employed to exploit the temporal patterns hidden in the historical graph, where its output is used to dynamically select the critical information from the interaction history. We validate DyGMamba experimentally on the dynamic link prediction task. The results show that our model achieves state-of-the-art in most cases. DyGMamba also maintains high efficiency in terms of computational resources, making it possible to capture long temporal dependencies with a limited computation budget.
- Abstract（参考訳）: 連続時間動的グラフ(CTDG)の有用な表現の学習は、長いノードの相互作用履歴にまたがると同時に、微妙な時間的詳細を把握する必要があるため、困難である。
特に, より長い履歴をエンコードするには, 計算資源の増大が必要であり, 効率性を確保するためにCTDGモデルが低計算量を維持することが不可欠である; 一方, より強力なモデルでは, より長い履歴によって提供される拡張された文脈内で最も重要な時間情報を識別し, 選択する必要がある。
このような問題に対処するために,一般的なマンバ状態空間モデル(SSM)から派生したDyGMambaというCTDG表現学習モデルを提案する。
DyGMambaはまずノードレベルのSSMを利用して、履歴ノード間の相互作用のシーケンスを符号化する。
次に、別の時間レベルのSSMを使用して、履歴グラフに隠された時間パターンを利用し、その出力を使用して相互作用履歴から臨界情報を動的に選択する。
動的リンク予測タスクにおいてDyGMambaを実験的に検証する。
その結果,ほとんどの場合,我々のモデルは最先端技術を実現していることがわかった。
DyGMambaは計算資源の観点からも高い効率性を維持しており、限られた計算予算で長期間の依存関係をキャプチャすることができる。
関連論文リスト
- Multivariate Time-Series Anomaly Detection based on Enhancing Graph Attention Networks with Topological Analysis [31.43159668073136]
時系列における教師なし異常検出は、手動による介入の必要性を大幅に低減するため、産業応用において不可欠である。
従来の手法では、グラフニューラルネットワーク(GNN)やトランスフォーマーを使用して空間を解析し、RNNは時間的依存をモデル化していた。
本稿では,TopoGDNと呼ばれる多変量時系列異常検出のための拡張グラフ注意ネットワーク(GAT)上に構築された新しい時間モデルを提案する。
論文 参考訳（メタデータ） (2024-08-23T14:06:30Z) - DyG-Mamba: Continuous State Space Modeling on Dynamic Graphs [59.434893231950205]
動的グラフ学習は、現実世界のシステムにおける進化の法則を明らかにすることを目的としている。
動的グラフ学習のための新しい連続状態空間モデルDyG-Mambaを提案する。
我々はDyG-Mambaがほとんどのデータセットで最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-08-13T15:21:46Z) - Long Range Propagation on Continuous-Time Dynamic Graphs [18.5534584418248]
Continuous-Time Graph Anti-Symmetric Network (CTAN) は情報伝達の効率化を目的としている。
合成長範囲ベンチマークと実世界のベンチマークにおけるCTANの実証的性能は他の方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-06-04T19:42:19Z) - SelfGNN: Self-Supervised Graph Neural Networks for Sequential Recommendation [15.977789295203976]
本稿では,SelfGNN(Self-Supervised Graph Neural Network)と呼ばれる新しいフレームワークを提案する。
SelfGNNフレームワークは、時間間隔に基づいて短期グラフを符号化し、グラフニューラルネットワーク(GNN)を使用して短期的な協調関係を学習する。
パーソナライズされた自己強化学習構造は、長期のユーザ関心と個人の安定性に基づいて、短期的なグラフにおけるノイズを緩和することにより、モデルロバスト性を高める。
論文 参考訳（メタデータ） (2024-05-31T14:53:12Z) - LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
自己保持機構の計算コストは、長いシーケンスの実用性を制限する。
我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。
LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
論文 参考訳（メタデータ） (2024-04-17T08:26:34Z) - TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。
提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。
我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
論文 参考訳（メタデータ） (2024-01-06T06:26:49Z) - Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。
具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。
そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
論文 参考訳（メタデータ） (2022-02-17T02:17:31Z) - Temporal Graph Modeling for Skeleton-based Action Recognition [25.788239844759246]
複雑な時間的ダイナミクスを捉えるための時間拡張グラフ畳み込みネットワーク(TE-GCN)を提案する。
構築された時間関係グラフは、意味的に関連する時間的特徴間の接続を明示的に構築する。
2つの大規模データセットで実験を行う。
論文 参考訳（メタデータ） (2020-12-16T09:02:47Z) - Disentangling and Unifying Graph Convolutions for Skeleton-Based Action
Recognition [79.33539539956186]
本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。
これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-03-31T11:28:25Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。