論文の概要: SlotGAT: Slot-based Message Passing for Heterogeneous Graph Neural Network

• arxiv url: http://arxiv.org/abs/2405.01927v1
• Date: Fri, 3 May 2024 08:44:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 13:25:40.816531
• Title: SlotGAT: Slot-based Message Passing for Heterogeneous Graph Neural Network
• Title（参考訳）: SlotGAT:不均一グラフニューラルネットワークのためのスロットベースのメッセージパッシング
• Authors: Ziang Zhou, Jieming Shi, Renchi Yang, Yuanhang Zou, Qing Li,
• Abstract要約: 不均一グラフは複雑なデータをモデル化するためにユビキタスである。重要なアプリケーションを効果的にサポートするために、強力な異種グラフニューラルネットワークが緊急に必要である。 既存のメッセージパッシングプロセスでは、ノード$v$の隣人の表現が、アグリゲーションのために$v$という特徴空間に変換されなければならない。 本稿では,各ノードタイプ毎にそれぞれ別々のメッセージパッシングプロセスを持つSlotGATを提案し,その表現をそれぞれのノードタイプの特徴空間に保持する。 スロットベースのメッセージパッシング層において,効果的なアテンション機構を設計する
• 参考スコア（独自算出の注目度）: 10.556391626113081
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heterogeneous graphs are ubiquitous to model complex data. There are urgent needs on powerful heterogeneous graph neural networks to effectively support important applications. We identify a potential semantic mixing issue in existing message passing processes, where the representations of the neighbors of a node $v$ are forced to be transformed to the feature space of $v$ for aggregation, though the neighbors are in different types. That is, the semantics in different node types are entangled together into node $v$'s representation. To address the issue, we propose SlotGAT with separate message passing processes in slots, one for each node type, to maintain the representations in their own node-type feature spaces. Moreover, in a slot-based message passing layer, we design an attention mechanism for effective slot-wise message aggregation. Further, we develop a slot attention technique after the last layer of SlotGAT, to learn the importance of different slots in downstream tasks. Our analysis indicates that the slots in SlotGAT can preserve different semantics in various feature spaces. The superiority of SlotGAT is evaluated against 13 baselines on 6 datasets for node classification and link prediction. Our code is at https://github.com/scottjiao/SlotGAT_ICML23/.
• Abstract（参考訳）: 不均一グラフは複雑なデータをモデル化するためにユビキタスである。 重要なアプリケーションを効果的にサポートするために、強力な異種グラフニューラルネットワークが緊急に必要である。 既存のメッセージパッシングプロセスでは、ノード$v$の隣人の表現が、アグリゲーションのために$v$という特徴空間に変換されなければならない。 つまり、異なるノードタイプのセマンティクスは、ノード$v$の表現にまとめられる。 この問題に対処するため,各ノードタイプ毎にそれぞれ別々のメッセージパッシングプロセスを持つSlotGATを提案し,それぞれのノードタイプの特徴空間における表現を維持する。 さらに、スロットベースのメッセージパッシング層において、効果的なスロットワイドメッセージアグリゲーションのためのアテンション機構を設計する。 さらに,SlotGATの最終層に次いでスロットアテンション手法を開発し,下流タスクにおけるスロットの重要性を学習する。 分析の結果,SlotGATのスロットは様々な特徴空間で異なる意味を保存できることがわかった。 SlotGATの優位性は、ノード分類とリンク予測のための6つのデータセットの13のベースラインに対して評価される。 私たちのコードはhttps://github.com/scottjiao/SlotGAT_ICML23/です。

関連論文リスト

• SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network [38.669815079957566]
  グラフニューラルネットワーク(GNN)は,グラフの伝播と集約によるグラフ構造情報の符号化を主目的とする。 等質グラフ、異質グラフ、知識グラフのようなより複雑なグラフなど、複数の種類のグラフの表現学習において優れた性能を発揮した。 深部GNNの性能劣化現象に対して,新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-07-03T02:40:39Z)
• KMF: Knowledge-Aware Multi-Faceted Representation Learning for Zero-Shot Node Classification [75.95647590619929]
  Zero-Shot Node Classification (ZNC)は、グラフデータ分析において、新しく重要なタスクである。 ラベルセマンティクスの豊かさを向上する知識認識型多面的フレームワーク(KMF)を提案する。 ノード情報集約によるプロトタイプドリフトの問題を軽減するために,新しい幾何学的制約を開発した。
  論文  参考訳（メタデータ） (2023-08-15T02:38:08Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
  本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。 Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T07:27:18Z)
• LSGNN: Towards General Graph Neural Network in Node Classification by Local Similarity [59.41119013018377]
  本稿では,ローカル類似性(LocalSim)を用いて,プラグイン・アンド・プレイモジュールとしても機能するノードレベルの重み付き融合を学習する。 そこで本研究では,より情報性の高いマルチホップ情報を抽出するための,新規かつ効率的な初期残留差分接続(IRDC)を提案する。 提案手法,すなわちローカル類似グラフニューラルネットワーク(LSGNN)は,ホモ親和性グラフとヘテロ親和性グラフの両方において,同等あるいは優れた最先端性能を提供できる。
  論文  参考訳（メタデータ） (2023-05-07T09:06:11Z)
• Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-smoothing [24.86998128873837]
  本稿では,特定のホップ内でのメッセージパッシングを目標としたニューロンブロックを用いて,ノード表現に渡すメッセージの順序付けを提案する。 広範囲なデータセットを用いた実験結果から,同種および異種両方の条件下で,我々のモデルが同時に最先端を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-03T03:38:50Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Incorporating Heterophily into Graph Neural Networks for Graph Classification [6.709862924279403]
  グラフニューラルネットワーク(GNN)は、しばしばグラフ分類において強いホモフィリを仮定し、ヘテロフィリを考えることは滅多にない。 We developed a novel GNN architecture called IHGNN (short for Incorporated Heterophily into Graph Neural Networks) 我々は、様々なグラフデータセット上でIHGNNを実証的に検証し、グラフ分類のための最先端のGNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T06:48:35Z)
• Position-based Hash Embeddings For Scaling Graph Neural Networks [8.87527266373087]
  グラフニューラルネットワーク(GNN)は、ノードのエゴネットワークのトポロジとエゴネットワークのノードの特徴を考慮したノード表現を演算する。 ノードが高品質な機能を持っていない場合、GNNはノードの埋め込みを計算するために埋め込み層を学び、それらを入力機能として使用する。 この埋め込みレイヤに関連するメモリを削減するため、NLPやレコメンダシステムのようなアプリケーションで一般的に使用されるハッシュベースのアプローチが利用可能である。 本稿では,グラフ内のノードの位置を利用して,必要なメモリを大幅に削減する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-31T22:42:25Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。