論文の概要: Topological Neural Networks: Mitigating the Bottlenecks of Graph Neural
Networks via Higher-Order Interactions
- arxiv url: http://arxiv.org/abs/2402.06908v1
- Date: Sat, 10 Feb 2024 08:26:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 18:43:36.496073
- Title: Topological Neural Networks: Mitigating the Bottlenecks of Graph Neural
Networks via Higher-Order Interactions
- Title（参考訳）: トポロジカルニューラルネットワーク:高次相互作用によるグラフニューラルネットワークのボトルネック緩和
- Authors: Lorenzo Giusti
- Abstract要約: この研究は、メッセージパッシングニューラルネットワークにおいて、ネットワークの幅、深さ、グラフトポロジがオーバーカッシング現象に与える影響を明らかにする理論的枠組みから始まる。
この研究は、トポロジカルニューラルネットワークを通して高次相互作用と多関係帰納バイアスへと流れていく。
グラフ注意ネットワークにインスパイアされた2つのトポロジカルアテンションネットワーク(Simplicial and Cell Attention Networks)が提案されている。
- 参考スコア（独自算出の注目度）: 1.994307489466967
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The irreducible complexity of natural phenomena has led Graph Neural Networks
to be employed as a standard model to perform representation learning tasks on
graph-structured data. While their capacity to capture local and global
patterns is remarkable, the implications associated with long-range and
higher-order dependencies pose considerable challenges to such models. This
work starts with a theoretical framework to reveal the impact of network's
width, depth, and graph topology on the over-squashing phenomena in
message-passing neural networks. Then, the work drifts towards, higher-order
interactions and multi-relational inductive biases via Topological Neural
Networks. Such models propagate messages through higher-dimensional structures,
providing shortcuts or additional routes for information flow. With this
construction, the underlying computational graph is no longer coupled with the
input graph structure, thus mitigating the aforementioned bottlenecks while
accounting also for higher-order interactions. Inspired by Graph Attention
Networks, two topological attention networks are proposed: Simplicial and Cell
Attention Networks. The rationale behind these architecture is to leverage the
extended notion of neighbourhoods provided by the arrangement of groups of
nodes within a simplicial or cell complex to design anisotropic aggregations
able to measure the importance of the information coming from different regions
of the domain. By doing so, they capture dependencies that conventional Graph
Neural Networks might miss. Finally, a multi-way communication scheme is
introduced with Enhanced Cellular Isomorphism Networks, which augment
topological message passing schemes to enable a direct interactions among
groups of nodes arranged in ring-like structures.
- Abstract（参考訳）: 自然現象の既約複雑性により、グラフ構造化データ上で表現学習タスクを実行するための標準モデルとしてグラフニューラルネットワークが採用された。
ローカルおよびグローバルパターンをキャプチャする能力は注目に値するが、長距離および高次依存関係に関連する影響は、そのようなモデルにとって大きな課題となる。
この研究は、メッセージパッシングニューラルネットワークにおいて、ネットワークの幅、深さ、グラフトポロジがオーバーカッシング現象に与える影響を明らかにする理論的枠組みから始まる。
そして、この研究はトポロジカルニューラルネットワークを通して高次相互作用と多関係帰納バイアスへと流れていく。
このようなモデルは高次元構造を通してメッセージを伝達し、情報の流れのショートカットや追加ルートを提供する。
この構成により、基礎となる計算グラフは入力グラフ構造と結合しなくなり、上記のボトルネックを軽減し、高次相互作用も考慮する。
グラフ注意ネットワークにヒントを得た2つのトポロジ的注意ネットワークが提案されている。
これらのアーキテクチャの背景にある理論的根拠は、単体あるいは細胞複合体内のノードのグループの配置によって提供される近傍の概念の拡張を利用して、ドメインの異なる領域から来る情報の重要性を測定することができる異方性集約を設計することである。
そうすることで、従来のグラフニューラルネットワークが見逃す可能性のある依存関係をキャプチャする。
最後に,環状構造に配置されたノード群間の直接的相互作用を可能にするトポロジカルメッセージパッシングスキームを拡張した拡張セル型等方性ネットワークを導入し,マルチウェイ通信方式を提案する。
関連論文リスト
- NetDiff: Deep Graph Denoising Diffusion for Ad Hoc Network Topology Generation [1.6768151308423371]
本稿では,無線アドホックネットワークリンクトポロジを生成する拡散確率的アーキテクチャを記述したグラフであるNetDiffを紹介する。
この結果から,生成したリンクは現実的であり,データセットグラフに類似した構造的特性を有しており,操作するには小さな修正と検証ステップのみが必要であることがわかった。
論文 参考訳（メタデータ） (2024-10-09T15:39:49Z) - Harnessing Collective Structure Knowledge in Data Augmentation for Graph Neural Networks [25.12261412297796]
グラフニューラルネットワーク(GNN)は,グラフ表現学習において最先端のパフォーマンスを達成した。
我々は新しいアプローチ、すなわち集合構造知識強化グラフニューラルネットワーク(CoS-GNN)を提案する。
論文 参考訳（メタデータ） (2024-05-17T08:50:00Z) - Unsupervised Graph Attention Autoencoder for Attributed Networks using
K-means Loss [0.0]
我々は、属性付きネットワークにおけるコミュニティ検出のための、教師なしのtextbfGraph Attention textbfAutotextbfEncoder に基づく、シンプルで効率的なクラスタリング指向モデルを提案する。
提案モデルは,ネットワークのトポロジと属性情報の両方から表現を十分に学習し,同時に2つの目的,すなわち再構築とコミュニティ発見に対処する。
論文 参考訳（メタデータ） (2023-11-21T20:45:55Z) - Topology-guided Hypergraph Transformer Network: Unveiling Structural Insights for Improved Representation [1.1606619391009658]
位相誘導型ハイパーグラフトランスネットワーク(THTN)を提案する。
このモデルでは、まず、構造的本質を維持しながらグラフからハイパーグラフを定式化し、グラフ内の高次関係を学習する。
本稿では,意味的,構造的両面から重要なノードとハイパーエッジを発見する構造認識型自己認識機構を提案する。
論文 参考訳（メタデータ） (2023-10-14T20:08:54Z) - Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。
既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。
本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
論文 参考訳（メタデータ） (2022-07-06T10:01:46Z) - BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。
リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。
BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
論文 参考訳（メタデータ） (2021-12-13T17:35:54Z) - Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural
Networks [68.9026534589483]
RioGNNはReinforceed, recursive, flexible neighborhood selection guided multi-relational Graph Neural Network architectureである。
RioGNNは、各関係の個々の重要性の認識により、説明性を高めた差別的なノード埋め込みを学ぶことができる。
論文 参考訳（メタデータ） (2021-04-16T04:30:06Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。
いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。
本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文 参考訳（メタデータ） (2020-07-18T01:11:14Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。