論文の概要: Generalized Simplicial Attention Neural Networks
- arxiv url: http://arxiv.org/abs/2309.02138v2
- Date: Tue, 15 Oct 2024 13:19:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 13:58:59.280662
- Title: Generalized Simplicial Attention Neural Networks
- Title(参考訳): 一般化された単純注意ニューラルネットワーク
- Authors: Claudio Battiloro, Lucia Testa, Lorenzo Giusti, Stefania Sardellitti, Paolo Di Lorenzo, Sergio Barbarossa,
- Abstract要約: 我々はGSAN(Generalized Simplicial Attention Neural Networks)を紹介する。
GSANは、マスク付き自己意図層を用いて、単純な複合体に生きるデータを処理する。
これらのスキームは、タスク指向の方法で、連続した順序の隣り合う単純さに関連するデータを組み合わせる方法を学ぶ。
- 参考スコア(独自算出の注目度): 22.171364354867723
- License:
- Abstract: Graph machine learning methods excel at leveraging pairwise relations present in the data. However, graphs are unable to fully capture the multi-way interactions inherent in many complex systems. An effective way to incorporate them is to model the data on higher-order combinatorial topological spaces, such as Simplicial Complexes (SCs) or Cell Complexes. For this reason, we introduce Generalized Simplicial Attention Neural Networks (GSANs), novel neural network architectures designed to process data living on simplicial complexes using masked self-attentional layers. Hinging on topological signal processing principles, we devise a series of principled self-attention mechanisms able to process data associated with simplices of various order, such as nodes, edges, triangles, and beyond. These schemes learn how to combine data associated with neighbor simplices of consecutive order in a task-oriented fashion, leveraging on the simplicial Dirac operator and its Dirac decomposition. We also prove that GSAN satisfies two fundamental properties: permutation equivariance and simplicial-awareness. Finally, we illustrate how our approach compares favorably with other simplicial and graph models when applied to several (inductive and transductive) tasks such as trajectory prediction, missing data imputation, graph classification, and simplex prediction.
- Abstract(参考訳): グラフ機械学習手法は、データに存在するペアワイズ関係を活用するのに優れている。
しかし、グラフは多くの複雑なシステムに固有のマルチウェイ相互作用を完全に捉えることはできない。
それらを組み込む効果的な方法は、Simplicial Complexes (SC) や Cell Complexes のような高階組合せ位相空間上のデータをモデル化することである。
このような理由から,マスク付き自己意図層を用いて,単体錯体上に存在するデータを処理するように設計された新しいニューラルネットワークアーキテクチャであるGSAN(Generalized Simplicial Attention Neural Networks)を導入する。
トポロジカル信号処理の原則に基づいて、ノード、エッジ、三角形など、さまざまな順序の単純化に関連するデータを処理できる一連の原則的自己認識機構を考案する。
これらのスキームは、simplicial Dirac演算子とそのDirac分解を利用して、タスク指向の連続した順序の隣の単純さに関連するデータを組み合わせる方法を学ぶ。
また、GSANは置換同値と単純認識という2つの基本的な性質を満たすことを証明している。
最後に, トラジェクティブ予測, 欠落データ計算, グラフ分類, 単純予測といった, 帰納的および帰納的タスクに適用した場合の, その他の単純およびグラフモデルとの比較について述べる。
関連論文リスト
- Pooling Strategies for Simplicial Convolutional Networks [18.80397868603073]
本研究の目的は、単純な畳み込みニューラルネットワークのプーリング戦略を導入することである。
グラフプーリング法に着想を得て,単純なプーリング層に対する一般的な定式化を導入する。
一般的なレイヤは4つの異なるプール戦略を設計するようにカスタマイズされる。
論文 参考訳(メタデータ) (2022-10-11T14:45:51Z) - Tuning the Geometry of Graph Neural Networks [0.7614628596146599]
空間グラフ畳み込み演算子はグラフニューラルネットワーク(GNN)の成功の鍵として認識されている
このアグリゲーション作用素は実際にチューナブルであり、作用素の特定の選択 -- 従って、ジオメトリを埋め込む -- がより適切であるような明示的なレギュレーションであることが示される。
論文 参考訳(メタデータ) (2022-07-12T23:28:03Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Simplicial Attention Networks [0.0]
異なるレイヤでデータコンポーネントを処理できる適切な自己アテンションメカニズムを導入します。
与えられた位相領域の上と下の両方の近傍を、完全にタスク指向の方法で重み付けする方法を学ぶ。
提案手法は,異なるタスク(帰納的タスク,帰納的タスク)に適用した場合,他の手法と良好に比較できる。
論文 参考訳(メタデータ) (2022-03-14T20:47:31Z) - Learning Connectivity with Graph Convolutional Networks for
Skeleton-based Action Recognition [14.924672048447338]
グラフのトポロジ特性を学習するグラフ畳み込みネットワークのための新しいフレームワークを提案する。
本手法の設計原理は制約対象関数の最適化に基づいている。
骨格に基づく行動認識の課題に対して行った実験は,提案手法の優位性を示している。
論文 参考訳(メタデータ) (2021-12-06T19:43:26Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳(メタデータ) (2021-10-28T14:59:41Z) - Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。
本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
論文 参考訳(メタデータ) (2021-01-16T16:18:43Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:05:36Z) - GCN for HIN via Implicit Utilization of Attention and Meta-paths [104.24467864133942]
不均一情報ネットワーク(HIN)埋め込みは、HINの構造と意味情報を分散表現にマッピングすることを目的としている。
本稿では,注意とメタパスを暗黙的に活用するニューラルネットワーク手法を提案する。
まず、各層で識別集約を行う多層グラフ畳み込みネットワーク(GCN)フレームワークを用いる。
次に,アグリゲーションから分離可能な新しい伝搬操作を導入することにより,効果的な緩和と改善を行う。
論文 参考訳(メタデータ) (2020-07-06T11:09:40Z) - Progressive Graph Convolutional Networks for Semi-Supervised Node
Classification [97.14064057840089]
グラフ畳み込みネットワークは、半教師付きノード分類のようなグラフベースのタスクに対処することに成功した。
本稿では,コンパクトかつタスク固有のグラフ畳み込みネットワークを自動構築する手法を提案する。
論文 参考訳(メタデータ) (2020-03-27T08:32:16Z) - Investigating the Compositional Structure Of Deep Neural Networks [1.8899300124593645]
本稿では,一方向線形活性化関数の構成構造に基づく新しい理論的枠組みを提案する。
予測ラベルと予測に使用する特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。
MNISTデータセットの予備テストでは、ニューラルネットワークの内部表現における類似性に関して、入力インスタンスをグループ化することが可能である。
論文 参考訳(メタデータ) (2020-02-17T14:16:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。