論文の概要: DeepRicci: Self-supervised Graph Structure-Feature Co-Refinement for
Alleviating Over-squashing
- arxiv url: http://arxiv.org/abs/2401.12780v1
- Date: Tue, 23 Jan 2024 14:06:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 15:32:35.338394
- Title: DeepRicci: Self-supervised Graph Structure-Feature Co-Refinement for
Alleviating Over-squashing
- Title(参考訳): DeepRicci: 自己教師型グラフ構造-オーバースカッシングを軽減するための機能共精製
- Authors: Li Sun, Zhenhao Huang, Hua Wu, Junda Ye, Hao Peng, Zhengtao Yu, Philip
S. Yu
- Abstract要約: グラフ構造学習(GSL)はグラフニューラルネットワーク(GNN)を改良したグラフで強化する上で重要な役割を果たしている。
GSLソリューションは、通常、タスク固有の監督(ノード分類)による構造改善に焦点を当てるか、GNN自体の固有の弱点を見落としている。
本稿では,典型的なGNNにおけるオーバー・スカッシングの問題を効果的に緩和する,自己教師付きグラフ構造-機能共分法について検討する。
- 参考スコア(独自算出の注目度): 72.70197960100677
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Graph Neural Networks (GNNs) have shown great power for learning and mining
on graphs, and Graph Structure Learning (GSL) plays an important role in
boosting GNNs with a refined graph. In the literature, most GSL solutions
either primarily focus on structure refinement with task-specific supervision
(i.e., node classification), or overlook the inherent weakness of GNNs
themselves (e.g., over-squashing), resulting in suboptimal performance despite
sophisticated designs. In light of these limitations, we propose to study
self-supervised graph structure-feature co-refinement for effectively
alleviating the issue of over-squashing in typical GNNs. In this paper, we take
a fundamentally different perspective of the Ricci curvature in Riemannian
geometry, in which we encounter the challenges of modeling, utilizing and
computing Ricci curvature. To tackle these challenges, we present a
self-supervised Riemannian model, DeepRicci. Specifically, we introduce a
latent Riemannian space of heterogeneous curvatures to model various Ricci
curvatures, and propose a gyrovector feature mapping to utilize Ricci curvature
for typical GNNs. Thereafter, we refine node features by geometric contrastive
learning among different geometric views, and simultaneously refine graph
structure by backward Ricci flow based on a novel formulation of differentiable
Ricci curvature. Finally, extensive experiments on public datasets show the
superiority of DeepRicci, and the connection between backward Ricci flow and
over-squashing. Codes of our work are given in https://github.com/RiemanGraph/.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、グラフの学習とマイニングに大きな力を示しており、グラフ構造学習(GSL)は、洗練されたグラフでGNNを強化する上で重要な役割を果たす。
文献では、ほとんどのGSLソリューションは、主にタスク固有の監督(ノード分類)による構造改善に焦点を当てるか、GNN自体の固有の弱点(例えばオーバー・スクワッシング)を見落とし、洗練された設計にもかかわらず、最適でない性能をもたらす。
これらの制約を考慮し,典型的なGNNにおけるオーバー・スカッシングの問題を効果的に緩和する自己教師付きグラフ構造-機能共精製法を提案する。
本稿では,リーマン幾何学におけるリッチ曲率の原理的に異なる視点を取り,リッチ曲率のモデル化,利用,計算の課題に直面する。
これらの課題に取り組むために、自己教師付きリーマンモデルDeepRicciを提案する。
具体的には,様々なリッチ曲率をモデル化するために不均一曲率の潜在リーマン空間を導入し,典型的なgnnにリッチ曲率を利用するジャイロビクター特徴マッピングを提案する。
その後,異なる幾何学的視点間の幾何学的対比学習によりノードの特徴を洗練し,微分可能なリッチ曲率の新しい定式化に基づく後方リッチフローによるグラフ構造を同時に洗練する。
最後に、公開データセットに関する広範な実験は、DeepRicciの優位性と、後方リッチフローとオーバースカッシングの接続性を示している。
私たちの仕事のコードはhttps://github.com/riemangraph/で示されます。
関連論文リスト
- Over-Squashing in Riemannian Graph Neural Networks [1.6317061277457001]
ほとんどのグラフニューラルネットワーク(GNN)は、オーバースカッシング(over-squashing)という現象を起こしやすい。
最近の研究では、グラフのトポロジがオーバー・スカッシングに最も大きな影響を与えることが示されている。
我々は, GNN の埋め込み空間を通じて, オーバースカッシングを緩和できるかどうかを考察する。
論文 参考訳(メタデータ) (2023-11-27T15:51:07Z) - Implicit Graph Neural Diffusion Networks: Convergence, Generalization,
and Over-Smoothing [7.984586585987328]
Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。
パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。
ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
論文 参考訳(メタデータ) (2023-08-07T05:22:33Z) - How Curvature Enhance the Adaptation Power of Framelet GCNs [27.831929635701886]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力に実証されている。
本稿では,離散グラフリッチ曲率によるGNNの拡張手法を提案する。
曲率に基づくGNNモデルは、ホモフィリーグラフとヘテロフィリーグラフの両方において、最先端のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-19T06:05:33Z) - FMGNN: Fused Manifold Graph Neural Network [102.61136611255593]
グラフ表現学習は、様々なグラフタスクにおいて広く研究され、効果が実証されている。
本稿では,異なるマニフォールドにグラフを埋め込む新しいGNNアーキテクチャであるFused Manifold Graph Neural Network (NN)を提案する。
提案実験により,NNはノード分類およびリンク予測タスクのベンチマークにおいて,強いベースラインよりも優れた性能が得られることを示した。
論文 参考訳(メタデータ) (2023-04-03T15:38:53Z) - Node Embedding from Hamiltonian Information Propagation in Graph Neural
Networks [30.42111062496152]
ハミルトン動的GNN(HDG)と呼ばれる新しいグラフ情報伝搬戦略を提案する。
HDGはハミルトン力学を用いてグラフ内のノード埋め込みを学習する。
グラフデータセットの基盤となる幾何学をHDGが自動的に学習できることを実証する。
論文 参考訳(メタデータ) (2023-03-02T07:40:40Z) - Self-Supervised Continual Graph Learning in Adaptive Riemannian Spaces [74.03252813800334]
連続的なグラフ学習は、様々なタスクを持つグラフデータが順次やってくる様々な現実世界のアプリケーションにおいて、その役割を日常的に発見する。
既存の手法はゼロ曲率ユークリッド空間で作用し、次のグラフ列で曲率が変化するという事実をほとんど無視する。
上記の課題に対処するため,本稿では,自己教師付き連続グラフ学習という,挑戦的かつ実践的な課題について検討する。
論文 参考訳(メタデータ) (2022-11-30T15:25:27Z) - Graph Neural Network Bandits [89.31889875864599]
グラフ構造データ上で定義された報酬関数を用いた帯域最適化問題を考察する。
この設定の主な課題は、大きなドメインへのスケーリングと、多くのノードを持つグラフへのスケーリングである。
グラフニューラルネットワーク(GNN)を用いて報酬関数を推定できることを示す。
論文 参考訳(メタデータ) (2022-07-13T18:12:36Z) - ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。
複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
論文 参考訳(メタデータ) (2021-10-15T07:18:57Z) - Curvature Graph Neural Network [8.477559786537919]
離散グラフ曲率(リッチ曲率)を導入し、対ノードの構造接続の強度を定量化する。
GNNの適応的局所性能力を効果的に向上する曲線グラフニューラルネットワーク(CGNN)を提案する。
合成データセットの実験結果から,CGNNはトポロジ構造情報を効果的に活用していることがわかった。
論文 参考訳(メタデータ) (2021-06-30T00:56:03Z) - Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
既存のGNNモデルの多くは浅く、本質的に機能中心である。
我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。
本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-08T02:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。