論文の概要: Simplicial Attention Networks

• arxiv url: http://arxiv.org/abs/2204.09455v1
• Date: Wed, 20 Apr 2022 13:41:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-21 15:42:08.940537
• Title: Simplicial Attention Networks
• Title（参考訳）: 単純な注意ネットワーク
• Authors: Christopher Wei Jin Goh, Cristian Bodnar, Pietro Li\`o
• Abstract要約: SNN(Simplicial Neural Networks)は、simplicial Complex上でメッセージパッシングを実行することによって、自然な相互作用をモデル化する。 Simplicial Attention Networks (SAT) は,近隣のsimplicial間の相互作用を動的に重み付けする,新しいタイプのsimplicial Networks を提案する。 SATは、既存の畳み込みSNNとGNNを2つの画像および軌跡分類タスクで上回ることを示す。
• 参考スコア（独自算出の注目度）: 4.401427499962144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph representation learning methods have mostly been limited to the modelling of node-wise interactions. Recently, there has been an increased interest in understanding how higher-order structures can be utilised to further enhance the learning abilities of graph neural networks (GNNs) in combinatorial spaces. Simplicial Neural Networks (SNNs) naturally model these interactions by performing message passing on simplicial complexes, higher-dimensional generalisations of graphs. Nonetheless, the computations performed by most existent SNNs are strictly tied to the combinatorial structure of the complex. Leveraging the success of attention mechanisms in structured domains, we propose Simplicial Attention Networks (SAT), a new type of simplicial network that dynamically weighs the interactions between neighbouring simplicies and can readily adapt to novel structures. Additionally, we propose a signed attention mechanism that makes SAT orientation equivariant, a desirable property for models operating on (co)chain complexes. We demonstrate that SAT outperforms existent convolutional SNNs and GNNs in two image and trajectory classification tasks.
• Abstract（参考訳）: グラフ表現学習法は主にノードワイズ相互作用のモデリングに限られている。 近年,グラフニューラルネットワーク(GNN)の複合空間における学習能力を高めるために,高次構造をどのように活用できるかを理解することへの関心が高まっている。 SNN(Simplicial Neural Networks)は、グラフの高次元一般化であるsimplicial Complex上でメッセージパッシングを行うことによって、これらの相互作用を自然にモデル化する。 それでも、現存するほとんどのSNNによって実行される計算は、複合体の組合せ構造に厳密に結びついている。 構造化ドメインにおける注意機構の成功を生かしたSimplicial Attention Networks (SAT) は,近隣のsimplicial間の相互作用を動的に評価し,新しい構造に容易に適応できる,新しいタイプのsimplicial Networksを提案する。 さらに、(コ)鎖錯体上で動くモデルにとって望ましい性質であるSAT配向を同変させる符号付きアテンション機構を提案する。 SATは、既存の畳み込みSNNとGNNを2つの画像および軌道分類タスクで上回ることを示す。

関連論文リスト

• TopoTune : A Framework for Generalized Combinatorial Complex Neural Networks [5.966445718346143]
  一般化されたCCNNは、任意の(グラフ)ニューラルネットワークをトポロジカルディープラーニングに変換するために使用することができる。 TDLを加速し、民主化するために、私たちは、実践者が前例のない柔軟性と容易さでGCCNを定義し、構築し、訓練できる軽量ソフトウェアであるTopoTuneを紹介します。
  論文  参考訳（メタデータ） (2024-10-09T04:07:20Z)
• Higher-Order Topological Directionality and Directed Simplicial Neural Networks [12.617840099457066]
  そこで我々は,高次方向性の概念を導入し,それに基づいてDir-SNN(Directed Simplicial Neural Networks)を設計した。 Dir-SNNは、有向simplicialコンプレックスで動作するメッセージパッシングネットワークである。 合成ソースローカライゼーションタスクの実験により、Dir-SNNは、基礎となるコンプレックスが向くと、無向SNNよりも優れることを示した。
  論文  参考訳（メタデータ） (2024-09-12T20:37:14Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• Privacy-Preserving Representation Learning for Text-Attributed Networks with Simplicial Complexes [24.82096971322501]
  simplicial Complex (RT4SC) のためのテキスト属性を用いた学習ネットワーク表現について, simplicial Neural Network (SNN) を用いて検討する。 SNNの表現出力に対する2つの潜在的攻撃について検討する。 本稿では,SNNからセキュアな表現出力を学習するための乗算器のプライバシー保護決定性差分的個人交互方向法について検討する。
  論文  参考訳（メタデータ） (2023-02-09T00:32:06Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• Simplicial Neural Networks [0.0]
  SNN(Simplicial Neural Network)を提案する。 SNNは、Simplicial Complexと呼ばれる位相空間のクラスに存在するデータへのグラフニューラルネットワークの一般化である。 我々は,コオーサシップコンプレックスの欠落したデータを出力する作業において,SNNを試験する。
  論文  参考訳（メタデータ） (2020-10-07T20:15:01Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。