論文の概要: HHGT: Hierarchical Heterogeneous Graph Transformer for Heterogeneous Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2407.13158v1
• Date: Thu, 18 Jul 2024 04:58:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 16:51:58.139435
• Title: HHGT: Hierarchical Heterogeneous Graph Transformer for Heterogeneous Graph Representation Learning
• Title（参考訳）: HHGT:不均質グラフ表現学習のための階層的不均質グラフ変換器
• Authors: Qiuyu Zhu, Liang Zhang, Qianxiong Xu, Kaijun Liu, Cheng Long, Xiaoyang Wang,
• Abstract要約: K,t)-ring neighborhoodと呼ばれる革新的な構造を開発し、ノードはまずその距離によって構成され、各距離ごとに異なる非重なり合うk-ring neighborhoodを形成する。 各 k-環構造の中で、ノードはそれらのタイプによってさらに異なるグループに分類されるので、HINにおける距離と型の両方の不均一性を自然に強調する。 HHGTの14ベースラインに対する優位性を検証するために、下流タスクで実験が行われ、ノードクラスタリングタスクでは、NMIが24.75%、ARIが29.25%まで改善された。
• 参考スコア（独自算出の注目度）: 19.667806439200792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of Heterogeneous Graph Neural Networks (HGNNs) in modeling real-world Heterogeneous Information Networks (HINs), challenges such as expressiveness limitations and over-smoothing have prompted researchers to explore Graph Transformers (GTs) for enhanced HIN representation learning. However, research on GT in HINs remains limited, with two key shortcomings in existing work: (1) A node's neighbors at different distances in HINs convey diverse semantics. Unfortunately, existing methods ignore such differences and uniformly treat neighbors within a given distance in a coarse manner, which results in semantic confusion. (2) Nodes in HINs have various types, each with unique semantics. Nevertheless, existing methods mix nodes of different types during neighbor aggregation, hindering the capture of proper correlations between nodes of diverse types. To bridge these gaps, we design an innovative structure named (k,t)-ring neighborhood, where nodes are initially organized by their distance, forming different non-overlapping k-ring neighborhoods for each distance. Within each k-ring structure, nodes are further categorized into different groups according to their types, thus emphasizing the heterogeneity of both distances and types in HINs naturally. Based on this structure, we propose a novel Hierarchical Heterogeneous Graph Transformer (HHGT) model, which seamlessly integrates a Type-level Transformer for aggregating nodes of different types within each k-ring neighborhood, followed by a Ring-level Transformer for aggregating different k-ring neighborhoods in a hierarchical manner. Extensive experiments are conducted on downstream tasks to verify HHGT's superiority over 14 baselines, with a notable improvement of up to 24.75% in NMI and 29.25% in ARI for node clustering task on the ACM dataset compared to the best baseline.
• Abstract（参考訳）: 実世界の異種情報ネットワーク(HIN)のモデリングにおいて、異種グラフニューラルネットワーク(HGNN)の成功にもかかわらず、表現性の制限や過剰なスムーシングといった課題が、HIN表現学習の強化のためにグラフトランスフォーマー(GT)を探索するきっかけとなった。 しかし、HINsにおけるGTの研究は限定的であり、既存の研究において2つの重大な欠点がある: 1) HINs内の異なる距離にいるノードの隣人は多様な意味論を伝達する。 残念ながら、既存の手法はそのような違いを無視し、与えられた距離の隣人を粗い方法で一様に扱い、意味的な混乱をもたらす。 2) HINのノードにはさまざまな型があり、それぞれにユニークなセマンティクスがある。 それにもかかわらず、既存のメソッドは、近隣の集約中に異なるタイプのノードを混在させ、多様なタイプのノード間の適切な相関を捕捉するのを妨げている。 これらのギャップを埋めるために、我々は(k,t)-ring neighborhoodと呼ばれる革新的な構造を設計し、ノードはまずその距離によって構成され、各距離ごとに異なる非重なり合うk-ring neighborhoodを形成する。 各 k-環構造の中で、ノードはそれらのタイプによってさらに異なるグループに分類されるので、HINにおける距離と型の両方の不均一性を自然に強調する。 この構造に基づいて,各kリング近傍の異なるタイプのノードをシームレスに集約するType-level Transformerと,異なるkリング近傍を階層的に集約するRing-level Transformerを併用するHHGT(Hierarchical Heterogeneous Graph Transformer)モデルを提案する。 HHGTの14ベースラインに対する優位性を検証するために、下流タスクで大規模な実験が行われ、最高ベースラインと比較して、ACMデータセット上のノードクラスタリングタスクに対して、NMIで24.75%、ARIで29.25%の顕著な改善がなされた。

関連論文リスト

• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Descent Steps of a Relation-Aware Energy Produce Heterogeneous Graph Neural Networks [25.59092732148598]
  不均一グラフニューラルネットワーク(GNN)は、半教師付き学習環境においてノード分類タスクにおいて高い性能を達成する。 本稿では、新しい関係認識エネルギー関数を導出する最適化ステップから層を導出する異種GNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-06-22T13:48:08Z)
• A Variational Edge Partition Model for Supervised Graph Representation Learning [51.30365677476971]
  本稿では,重なり合うノード群間の相互作用を集約することで,観測されたエッジがどのように生成されるかをモデル化するグラフ生成プロセスを提案する。 それぞれのエッジを複数のコミュニティ固有の重み付きエッジの和に分割し、コミュニティ固有のGNNを定義する。 エッジを異なるコミュニティに分割するGNNベースの推論ネットワーク,これらのコミュニティ固有のGNN,およびコミュニティ固有のGNNを最終分類タスクに組み合わせたGNNベースの予測器を共同で学習するために,変分推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T14:37:50Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [5.431036185361236]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• HMSG: Heterogeneous Graph Neural Network based on Metapath Subgraph Learning [2.096172374930129]
  我々はHMSGという新しい異種グラフニューラルネットワークモデルを提案する。 異種グラフを複数の部分グラフに分解する。 各サブグラフは、特定の意味情報と構造情報を関連付ける。 タイプ固有の属性変換を通じて、ノード属性を異なるタイプのノード間で転送することもできる。
  論文  参考訳（メタデータ） (2021-09-07T05:02:59Z)
• Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural Networks [68.9026534589483]
  RioGNNはReinforceed, recursive, flexible neighborhood selection guided multi-relational Graph Neural Network architectureである。 RioGNNは、各関係の個々の重要性の認識により、説明性を高めた差別的なノード埋め込みを学ぶことができる。
  論文  参考訳（メタデータ） (2021-04-16T04:30:06Z)
• DA-HGT: Domain Adaptive Heterogeneous Graph Transformer [10.641277509434772]
  異種情報ネットワーク(HIN)間のドメインシフトを処理するための新しいドメイン適応型異種グラフトランス(DA-HGT)を提案する。 DA-HGTは、2つのHINにおいて同一のノードとエッジの分布を調整するだけでなく、知識伝達の性能を向上させるために異なるタイプのノードとエッジをフル活用する。
  論文  参考訳（メタデータ） (2020-12-10T14:16:46Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)
• Neighborhood Matching Network for Entity Alignment [71.24217694278616]
  Neighborhood Matching Network (NMN)は、新しいエンティティアライメントフレームワークである。 NMNは、トポロジカル構造と近傍差の両方を捉えるために、エンティティ間の類似性を推定する。 まず、新しいグラフサンプリング法を用いて、各エンティティの識別的近傍を蒸留する。 その後、クロスグラフの近傍マッチングモジュールを採用し、与えられたエンティティペアの近傍差を共同で符号化する。
  論文  参考訳（メタデータ） (2020-05-12T08:26:15Z)
• Heterogeneous Graph Transformer [49.675064816860505]
  Webスケールの不均一グラフモデリングのための不均一グラフ変換器(HGT)アーキテクチャ 動的ヘテロジニアスグラフを扱うために、HGTに相対時間符号化手法を導入する。 Web スケールのグラフデータを扱うため,ヘテロジニアスなミニバッチグラフサンプリングアルゴリズム--HGSampling--を設計し,効率的かつスケーラブルなトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-03T04:49:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。