論文の概要: Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes

• arxiv url: http://arxiv.org/abs/2409.12033v1
• Date: Wed, 18 Sep 2024 14:49:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 17:10:23.748030
• Title: Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes
• Title（参考訳）: 状態空間モデルを用いたトポロジカル深層学習:単純複素数に対するマンバアプローチ
• Authors: Marco Montagna, Simone Scardapane, Lev Telyatnikov,
• Abstract要約: 本稿では,Mamba状態空間モデルをバックボーンとして利用して,単純な複素数を扱うように設計された新しいアーキテクチャを提案する。 提案手法は, 隣接セルをベースとしたノードのシーケンスを生成し, ランクに関わらず, 上位構造間の直接通信を可能にする。
• 参考スコア（独自算出の注目度）: 4.787059527893628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks based on the message-passing (MP) mechanism are a dominant approach for handling graph-structured data. However, they are inherently limited to modeling only pairwise interactions, making it difficult to explicitly capture the complexity of systems with $n$-body relations. To address this, topological deep learning has emerged as a promising field for studying and modeling higher-order interactions using various topological domains, such as simplicial and cellular complexes. While these new domains provide powerful representations, they introduce new challenges, such as effectively modeling the interactions among higher-order structures through higher-order MP. Meanwhile, structured state-space sequence models have proven to be effective for sequence modeling and have recently been adapted for graph data by encoding the neighborhood of a node as a sequence, thereby avoiding the MP mechanism. In this work, we propose a novel architecture designed to operate with simplicial complexes, utilizing the Mamba state-space model as its backbone. Our approach generates sequences for the nodes based on the neighboring cells, enabling direct communication between all higher-order structures, regardless of their rank. We extensively validate our model, demonstrating that it achieves competitive performance compared to state-of-the-art models developed for simplicial complexes.
• Abstract（参考訳）: メッセージパッシング(MP)機構に基づくグラフニューラルネットワークは,グラフ構造化データを扱う上で重要なアプローチである。 しかし、それらは本質的に対の相互作用のみをモデル化することに限定されており、$n$body関係を持つシステムの複雑さを明示的に捉えることは困難である。 これを解決するために、トポロジカル・ディープ・ラーニングは、単純・細胞複合体のような様々なトポロジカル・ドメインを用いて高次相互作用を研究・モデル化するための有望な分野として登場した。 これらの新しいドメインは強力な表現を提供するが、高階MPを通して高階構造間の相互作用を効果的にモデル化するなど、新しい課題を導入する。 一方、構造化状態空間シーケンスモデルはシーケンスモデリングに有効であることが証明され、最近はノードの近傍をシーケンスとして符号化することでグラフデータに適応し、MP機構を回避することができる。 本研究では,Mamba状態空間モデルをバックボーンとして利用して,単純な複素数を扱うように設計された新しいアーキテクチャを提案する。 提案手法は, 隣接セルをベースとしたノードのシーケンスを生成し, ランクに関わらず, 上位構造間の直接通信を可能にする。 我々は, 単純複素数に対して開発された最先端のモデルと比較して, 競争性能が向上することを示すとともに, モデルの有効性を広く検証した。

関連論文リスト

• GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
  GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。 本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。 大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
  論文  参考訳（メタデータ） (2024-06-04T15:09:29Z)
• Learning From Simplicial Data Based on Random Walks and 1D Convolutions [6.629765271909503]
  ランダムウォークと高速1D畳み込みに基づく単純な複雑なニューラルネットワーク学習アーキテクチャ。 実世界のデータセット上でSCRaWlを実証的に評価し、他の単純なニューラルネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-04T13:27:22Z)
• Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling [4.190836962132713]
  本稿では,従来の注意機構の2次複雑さに対処する新しいアーキテクチャであるOrchidを紹介する。 このアーキテクチャのコアには、新しいデータ依存のグローバル畳み込み層があり、入力シーケンスに条件付きカーネルを文脈的に適応させる。 言語モデリングや画像分類など,複数の領域にまたがるモデルの評価を行い,その性能と汎用性を強調した。
  論文  参考訳（メタデータ） (2024-02-28T17:36:45Z)
• Generalized Simplicial Attention Neural Networks [22.171364354867723]
  我々はGSAN(Generalized Simplicial Attention Neural Networks)を紹介する。 GSANは、マスク付き自己意図層を用いて、単純な複合体に生きるデータを処理する。 これらのスキームは、タスク指向の方法で、連続した順序の隣り合う単純さに関連するデータを組み合わせる方法を学ぶ。
  論文  参考訳（メタデータ） (2023-09-05T11:29:25Z)
• Toward an Over-parameterized Direct-Fit Model of Visual Perception [5.4823225815317125]
  本稿では, 単純細胞と複雑細胞の並列結合機構と逐次結合機構の相違について述べる。 空間分割と合成に抽象化する新たな提案が提案されている。 我々は、$ell_infty$-optimizationに基づいて、動的プログラミング(DP)のような近似近傍探索を実現する方法を示す。
  論文  参考訳（メタデータ） (2022-10-07T23:54:30Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [140.18376685167857]
  スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。 MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-11-07T03:50:50Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。