論文の概要: Message-Passing State-Space Models: Improving Graph Learning with Modern Sequence Modeling

• arxiv url: http://arxiv.org/abs/2505.18728v1
• Date: Sat, 24 May 2025 14:53:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.622904
• Title: Message-Passing State-Space Models: Improving Graph Learning with Modern Sequence Modeling
• Title（参考訳）: メッセージパッシング状態空間モデル:現代シーケンスモデリングによるグラフ学習の改善
• Authors: Andrea Ceni, Alessio Gravina, Claudio Gallicchio, Davide Bacciu, Carola-Bibiane Schonlieb, Moshe Eliasof,
• Abstract要約: 我々は、メッセージパッシングニューラルネットワークフレームワークに直接、現代のSSMの鍵となる原則を組み込むことによって、新しい視点を導入する。 我々は,MP-SSMを用いて,メッセージパッシングのアーキテクチャ的単純さを保ちながら,効率よく,順列同変かつ長距離情報伝達を可能にする。
• 参考スコア（独自算出の注目度）: 19.10832920407789
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent success of State-Space Models (SSMs) in sequence modeling has motivated their adaptation to graph learning, giving rise to Graph State-Space Models (GSSMs). However, existing GSSMs operate by applying SSM modules to sequences extracted from graphs, often compromising core properties such as permutation equivariance, message-passing compatibility, and computational efficiency. In this paper, we introduce a new perspective by embedding the key principles of modern SSM computation directly into the Message-Passing Neural Network framework, resulting in a unified methodology for both static and temporal graphs. Our approach, MP-SSM, enables efficient, permutation-equivariant, and long-range information propagation while preserving the architectural simplicity of message passing. Crucially, MP-SSM enables an exact sensitivity analysis, which we use to theoretically characterize information flow and evaluate issues like vanishing gradients and over-squashing in the deep regime. Furthermore, our design choices allow for a highly optimized parallel implementation akin to modern SSMs. We validate MP-SSM across a wide range of tasks, including node classification, graph property prediction, long-range benchmarks, and spatiotemporal forecasting, demonstrating both its versatility and strong empirical performance.
• Abstract（参考訳）: 最近のシーケンスモデリングにおける状態空間モデル(SSM)の成功は、グラフ学習への適応を動機付け、グラフ状態空間モデル(GSSM)が誕生した。 しかし、既存のGSSMはグラフから抽出されたシーケンスにSSMモジュールを適用し、置換同値、メッセージパス互換性、計算効率などのコア特性を補う。 本稿では,現代のSSM計算の鍵となる原理をMessage-Passing Neural Networkフレームワークに直接組み込むことにより,静的グラフと時間グラフの両方に対して統一的な方法論を実現することにより,新たな視点を導入する。 我々は,MP-SSMを用いて,メッセージパッシングのアーキテクチャ的単純さを保ちながら,効率よく,順列同変かつ長距離情報伝達を可能にする。 重要なことは、MP-SSMは情報の流れを理論的に特徴付け、深層構造における勾配の消失や過度な監視といった問題を評価するために、正確な感度分析を可能にする。 さらに、我々の設計選択は、現代のSSMと同様、高度に最適化された並列実装を可能にする。 我々は,ノード分類,グラフ特性予測,長期ベンチマーク,時空間予測など,幅広いタスクにわたってMP-SSMを検証する。

関連論文リスト

• Mathematical Formalism for Memory Compression in Selective State Space Models [0.0]
  状態空間モデル(SSM)は、シーケンスデータの長距離依存性をモデル化するための強力なフレームワークとして登場した。 我々は、選択状態空間モデルにおけるメモリ圧縮を理解するための厳密な数学的枠組みを開発する。 選択型SSMは従来のRNNモデルと比較してメモリ効率と処理速度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-04T05:45:48Z)
• DyG-Mamba: Continuous State Space Modeling on Dynamic Graphs [59.434893231950205]
  動的グラフ学習は、現実世界のシステムにおける進化の法則を明らかにすることを目的としている。 動的グラフ学習のための新しい連続状態空間モデルDyG-Mambaを提案する。 我々はDyG-Mambaがほとんどのデータセットで最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-08-13T15:21:46Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• Theoretical Foundations of Deep Selective State-Space Models [13.971499161967083]
  ディープSSMは、さまざまなドメインセットで優れたパフォーマンスを示す。 最近の研究で、線形リカレンス電力が入力と隠れ状態の間の乗法的相互作用を可能にすることが示されている。 ランダム線形再帰が単純な入力制御遷移を備える場合、隠れ状態は強力な数学的対象の低次元射影であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T11:20:16Z)
• State space models can express n-gram languages [51.823427608117626]
  我々は、n-gramルールから生成された言語に対して、次の単語予測タスクを解くことのできる状態空間言語モデルを構築している。 我々の証明は、SSMがn-gramルールをその能力に関する新たな理論的結果を用いてエンコードする方法を示している。 n-gramルールから生成された小さなデータセットを用いて実験を行い、勾配に基づく最適化によって得られたSSMやRNNにフレームワークをどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2023-06-20T10:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。