論文の概要: CIN++: Enhancing Topological Message Passing

• arxiv url: http://arxiv.org/abs/2306.03561v1
• Date: Tue, 6 Jun 2023 10:25:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 16:03:51.143843
• Title: CIN++: Enhancing Topological Message Passing
• Title（参考訳）: CIN++: トポロジカルメッセージパッシングの強化
• Authors: Lorenzo Giusti, Teodora Reu, Francesco Ceccarelli, Cristian Bodnar, Pietro Li\`o
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めている。 表現力の重大な制限に直面し、長距離相互作用に苦しむとともに、高次構造やグループ相互作用をモデル化するための原則的なアプローチを欠いている。 我々は、CINで導入されたトポロジ的メッセージパッシングスキームの強化であるCIN++を提案する。
• 参考スコア（独自算出の注目度）: 3.584867245855462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) have demonstrated remarkable success in learning from graph-structured data. However, they face significant limitations in expressive power, struggling with long-range interactions and lacking a principled approach to modeling higher-order structures and group interactions. Cellular Isomorphism Networks (CINs) recently addressed most of these challenges with a message passing scheme based on cell complexes. Despite their advantages, CINs make use only of boundary and upper messages which do not consider a direct interaction between the rings present in the underlying complex. Accounting for these interactions might be crucial for learning representations of many real-world complex phenomena such as the dynamics of supramolecular assemblies, neural activity within the brain, and gene regulation processes. In this work, we propose CIN++, an enhancement of the topological message passing scheme introduced in CINs. Our message passing scheme accounts for the aforementioned limitations by letting the cells to receive also lower messages within each layer. By providing a more comprehensive representation of higher-order and long-range interactions, our enhanced topological message passing scheme achieves state-of-the-art results on large-scale and long-range chemistry benchmarks.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めている。 しかし、それらは表現力において重大な制限に直面し、長距離相互作用に苦しめられ、高次構造や群相互作用をモデル化する原理的なアプローチを欠いている。 細胞間アイソモルフィックネットワーク(CIN)は近年,細胞複合体に基づくメッセージパッシング方式でこれらの課題の多くに対処している。 それらの利点にもかかわらず、CINは基底複体に存在する環間の直接相互作用を考慮しない境界メッセージと上メッセージのみを利用する。 これらの相互作用の説明は、超分子集合体の力学、脳内の神経活動、遺伝子制御プロセスなどの多くの現実世界の複雑な現象の表現を学ぶために重要である。 本研究では,CINで導入されたトポロジ的メッセージパッシング方式の強化であるCIN++を提案する。 当社のメッセージパッシングスキームは、セルが各レイヤ内のメッセージも受信できるようにすることで、前述の制限を満たしています。 高次および長距離相互作用のより包括的な表現を提供することで、我々の拡張されたトポロジカルメッセージパッシングスキームは、大規模かつ長距離の化学ベンチマークで最先端の結果を得ることができる。

関連論文リスト

• Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes [4.787059527893628]
  本稿では,Mamba状態空間モデルをバックボーンとして利用して,単純な複素数を扱うように設計された新しいアーキテクチャを提案する。 提案手法は, 隣接セルをベースとしたノードのシーケンスを生成し, ランクに関わらず, 上位構造間の直接通信を可能にする。
  論文  参考訳（メタデータ） (2024-09-18T14:49:25Z)
• Topological Neural Networks: Mitigating the Bottlenecks of Graph Neural Networks via Higher-Order Interactions [1.994307489466967]
  この研究は、メッセージパッシングニューラルネットワークにおいて、ネットワークの幅、深さ、グラフトポロジがオーバーカッシング現象に与える影響を明らかにする理論的枠組みから始まる。 この研究は、トポロジカルニューラルネットワークを通して高次相互作用と多関係帰納バイアスへと流れていく。 グラフ注意ネットワークにインスパイアされた2つのトポロジカルアテンションネットワーク(Simplicial and Cell Attention Networks)が提案されている。
  論文  参考訳（メタデータ） (2024-02-10T08:26:06Z)
• Adaptive Message Passing: A General Framework to Mitigate Oversmoothing, Oversquashing, and Underreaching [23.487431014596556]
  長距離相互作用は、多くの科学分野における複雑なシステムの正しい記述に不可欠である。 ほとんどのディープグラフネットワークは、(同期)メッセージパッシングの固有の制限のため、実際には長距離依存をモデル化できません。 この研究は、これらの制限を緩和する一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-27T12:49:27Z)
• Message Intercommunication for Inductive Relation Reasoning [49.731293143079455]
  我々はMINESと呼ばれる新しい帰納的関係推論モデルを開発した。 隣り合う部分グラフにメッセージ通信機構を導入する。 我々の実験は、MINESが既存の最先端モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-23T13:51:46Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• DPGNN: Dual-Perception Graph Neural Network for Representation Learning [21.432960458513826]
  グラフニューラルネットワーク(GNN)は近年注目を集め、グラフベースのタスクの多くで顕著なパフォーマンスを実現している。 既存のGNNの多くは、メッセージパッシングパラダイムに基づいて、1つのトポロジ空間内の近隣情報を反復的に集約している。 本稿では,マルチステップメッセージソースの特性,ノード固有のメッセージ出力,マルチスペースメッセージインタラクションに基づく新しいメッセージパッシングパラダイムを提案する。
  論文  参考訳（メタデータ） (2021-10-15T05:47:26Z)
• Weisfeiler and Lehman Go Cellular: CW Networks [3.0017241250121383]
  グラフニューラルネットワーク(GNN)は、表現力に制限があり、長距離相互作用に苦慮し、高次構造をモデル化する原則的な方法が欠けている。 SC の最近の理論的結果は、SC とグラフを柔軟にサブスムする位相対象である正則なセルコンプレックスに拡張する。 この一般化は、グラフリフトの変換の強力なセットを提供し、それぞれがユニークなメッセージパッシング手順につながることを示す。
  論文  参考訳（メタデータ） (2021-06-23T17:59:16Z)
• Counting Substructures with Higher-Order Graph Neural Networks: Possibility and Impossibility Results [58.277290855841976]
  グラフニューラルネットワーク(GNN)の計算コストと表現力のトレードオフについて検討する。 新しいモデルでは、$k$のサブグラフをカウントでき、低次GNNの既知の制限を克服できることを示す。 いくつかの場合において、提案アルゴリズムは既存の高階$k$-GNNに比べて計算量を大幅に削減することができる。
  論文  参考訳（メタデータ） (2020-12-06T03:42:54Z)
• GCN for HIN via Implicit Utilization of Attention and Meta-paths [104.24467864133942]
  不均一情報ネットワーク(HIN)埋め込みは、HINの構造と意味情報を分散表現にマッピングすることを目的としている。 本稿では,注意とメタパスを暗黙的に活用するニューラルネットワーク手法を提案する。 まず、各層で識別集約を行う多層グラフ畳み込みネットワーク(GCN)フレームワークを用いる。 次に,アグリゲーションから分離可能な新しい伝搬操作を導入することにより,効果的な緩和と改善を行う。
  論文  参考訳（メタデータ） (2020-07-06T11:09:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。