論文の概要: Self-Supervised Pretraining for Heterogeneous Hypergraph Neural Networks

• arxiv url: http://arxiv.org/abs/2311.11368v1
• Date: Sun, 19 Nov 2023 16:34:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 20:44:46.684011
• Title: Self-Supervised Pretraining for Heterogeneous Hypergraph Neural Networks
• Title（参考訳）: 不均一ハイパーグラフニューラルネットワークの自己教師付き事前学習
• Authors: Abdalgader Abubaker, Takanori Maehara, Madhav Nimishakavi, Vassilis Plachouras
• Abstract要約: 異種HyperGNNのための自己教師型事前学習フレームワークを提案する。 本手法は,データ内のエンティティ間の高次関係を,自己教師型で効果的に捉えることができる。 実験の結果,提案するフレームワークは,様々なダウンストリームタスクにおいて,最先端のベースラインを一貫して上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 9.987252149421982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, pretraining methods for the Graph Neural Networks (GNNs) have been successful at learning effective representations from unlabeled graph data. However, most of these methods rely on pairwise relations in the graph and do not capture the underling higher-order relations between entities. Hypergraphs are versatile and expressive structures that can effectively model higher-order relationships among entities in the data. Despite the efforts to adapt GNNs to hypergraphs (HyperGNN), there are currently no fully self-supervised pretraining methods for HyperGNN on heterogeneous hypergraphs. In this paper, we present SPHH, a novel self-supervised pretraining framework for heterogeneous HyperGNNs. Our method is able to effectively capture higher-order relations among entities in the data in a self-supervised manner. SPHH is consist of two self-supervised pretraining tasks that aim to simultaneously learn both local and global representations of the entities in the hypergraph by using informative representations derived from the hypergraph structure. Overall, our work presents a significant advancement in the field of self-supervised pretraining of HyperGNNs, and has the potential to improve the performance of various graph-based downstream tasks such as node classification and link prediction tasks which are mapped to hypergraph configuration. Our experiments on two real-world benchmarks using four different HyperGNN models show that our proposed SPHH framework consistently outperforms state-of-the-art baselines in various downstream tasks. The results demonstrate that SPHH is able to improve the performance of various HyperGNN models in various downstream tasks, regardless of their architecture or complexity, which highlights the robustness of our framework.
• Abstract（参考訳）: 近年,グラフニューラルネットワーク(gnns)の事前学習手法がラベルなしグラフデータから効果的な表現を学習するのに成功している。 しかし、これらの手法のほとんどはグラフの対関係に依存しており、エンティティ間の高次関係を捉えていない。 ハイパーグラフは、データ内のエンティティ間の高次関係を効果的にモデル化できる汎用的で表現力のある構造である。 ハイパーグラフ(HyperGNN)にGNNを適用する努力にもかかわらず、現在、異種ハイパーグラフ上でのHyperGNNの完全な事前訓練方法は存在しない。 本稿では,異種HyperGNNのための自己教師型事前学習フレームワークであるSPHHを提案する。 本手法は,データ内のエンティティ間の高次関係を自己監督的に効果的に捉えることができる。 SPHHは、ハイパーグラフ構造から派生した情報表現を用いて、ハイパーグラフ内のエンティティの局所的およびグローバル的表現を同時に学習することを目的とした2つの自己教師型事前訓練タスクからなる。 全体としては,ハイパーgnnの自己教師付き事前学習の分野において重要な進歩を示し,ハイパーグラフ構成にマッピングされたノード分類やリンク予測タスクなど,グラフベースのダウンストリームタスクのパフォーマンス向上の可能性を示す。 4つの異なるHyperGNNモデルを用いた2つの実世界のベンチマーク実験により、提案したSPHHフレームワークは、様々な下流タスクにおける最先端のベースラインを一貫して上回ることを示す。 その結果、SPHHは、アーキテクチャや複雑さに関わらず、様々な下流タスクにおける様々なHyperGNNモデルの性能を向上させることができることが示され、フレームワークの堅牢性を強調している。

関連論文リスト

• Hypergraph Transformer for Semi-Supervised Classification [50.92027313775934]
  我々は新しいハイパーグラフ学習フレームワークHyperGraph Transformer(HyperGT)を提案する。 HyperGTはTransformerベースのニューラルネットワークアーキテクチャを使用して、すべてのノードとハイパーエッジのグローバル相関を効果的に検討する。 局所接続パターンを保ちながら、グローバルな相互作用を効果的に組み込むことで、包括的なハイパーグラフ表現学習を実現する。
  論文  参考訳（メタデータ） (2023-12-18T17:50:52Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• From Hypergraph Energy Functions to Hypergraph Neural Networks [94.88564151540459]
  パラメータ化されたハイパーグラフ正規化エネルギー関数の表現型族を示す。 次に、これらのエネルギーの最小化がノード埋め込みとして効果的に機能することを実証する。 提案した双レベルハイパーグラフ最適化と既存のGNNアーキテクチャを共通的に用いている。
  論文  参考訳（メタデータ） (2023-06-16T04:40:59Z)
• Equivariant Hypergraph Diffusion Neural Operators [81.32770440890303]
  ハイパーグラフを符号化するためにニューラルネットワークを使用するハイパーグラフニューラルネットワーク(HNN)は、データの高次関係をモデル化する有望な方法を提供する。 本研究ではED-HNNと呼ばれる新しいHNNアーキテクチャを提案する。 実世界の9つのハイパーグラフデータセットのノード分類におけるED-HNNの評価を行った。
  論文  参考訳（メタデータ） (2022-07-14T06:17:00Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
  本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。 複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-10-15T07:18:57Z)
• Learnable Hypergraph Laplacian for Hypergraph Learning [34.28748027233654]
  HyperGraph Convolutional Neural Networks (HGCNN) は、グラフ構造化データに保存された高次関係をモデル化する可能性を示した。 我々はHypERgrAph Laplacian aDaptor(HERALD)と呼ばれる適応的なハイパーグラフ構造を構築するための最初の学習ベース手法を提案する。 HERALDは、ハイパーノードとハイパーエッジの隣接関係をエンドツーエンドで適応的に最適化し、タスク認識ハイパーグラフを学習する。
  論文  参考訳（メタデータ） (2021-06-12T02:07:07Z)
• Learnable Hypergraph Laplacian for Hypergraph Learning [34.28748027233654]
  HyperGraph Convolutional Neural Networks (HGCNN) は、グラフ構造化データに保存された高次関係をモデル化する可能性を示した。 我々はHypERgrAph Laplacian aDaptor(HERALD)と呼ばれる適応的なハイパーグラフ構造を構築するための最初の学習ベース手法を提案する。 HERALDは、ハイパーノードとハイパーエッジの隣接関係をエンドツーエンドで適応的に最適化し、タスク認識ハイパーグラフを学習する。
  論文  参考訳（メタデータ） (2021-06-10T12:37:55Z)
• UniGNN: a Unified Framework for Graph and Hypergraph Neural Networks [8.777765815864367]
  エンティティ間の高次相関をモデル化するフレキシブルな表現構造であるhypergraphは、近年様々な研究領域から注目を集めている。 グラフおよびハイパーグラフニューラルネットワークにおけるメッセージパッシングプロセスを解釈するための統一フレームワークであるUniGNNを提案する。 複数の実世界のデータセットに対するUniGNNの有効性を示す実験が行われている。
  論文  参考訳（メタデータ） (2021-05-03T15:48:34Z)
• Residual Enhanced Multi-Hypergraph Neural Network [26.42547421121713]
  HyperGraph Neural Network (HGNN) はハイパーグラフ表現学習のためのデファクト手法である。 本稿では,各ハイパーグラフからのマルチモーダル情報を効果的に融合できるResidual enhanced Multi-Hypergraph Neural Networkを提案する。
  論文  参考訳（メタデータ） (2021-05-02T14:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。