論文の概要: Motif-aware Riemannian Graph Neural Network with Generative-Contrastive Learning

• arxiv url: http://arxiv.org/abs/2401.01232v1
• Date: Tue, 2 Jan 2024 14:58:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 13:51:36.248494
• Title: Motif-aware Riemannian Graph Neural Network with Generative-Contrastive Learning
• Title（参考訳）: 生成コントラスト学習を用いたモチーフ対応リーマングラフニューラルネットワーク
• Authors: Li Sun, Zhenhao Huang, Zixi Wang, Feiyang Wang, Hao Peng, Philip Yu
• Abstract要約: ラベルのない多変数曲率多様体におけるモチーフ正則性を取得するための新しい手法を提案する。 また,構成多様体のモチーフ規則性を捉えるために,モチーフ認識型生成コントラスト学習を導入する。 実験の結果, D-GCNよりもMofitRGCの方が優れていた。
• 参考スコア（独自算出の注目度）: 23.041843981988503
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graphs are typical non-Euclidean data of complex structures. In recent years, Riemannian graph representation learning has emerged as an exciting alternative to Euclidean ones. However, Riemannian methods are still in an early stage: most of them present a single curvature (radius) regardless of structural complexity, suffer from numerical instability due to the exponential/logarithmic map, and lack the ability to capture motif regularity. In light of the issues above, we propose the problem of \emph{Motif-aware Riemannian Graph Representation Learning}, seeking a numerically stable encoder to capture motif regularity in a diverse-curvature manifold without labels. To this end, we present a novel Motif-aware Riemannian model with Generative-Contrastive learning (MotifRGC), which conducts a minmax game in Riemannian manifold in a self-supervised manner. First, we propose a new type of Riemannian GCN (D-GCN), in which we construct a diverse-curvature manifold by a product layer with the diversified factor, and replace the exponential/logarithmic map by a stable kernel layer. Second, we introduce a motif-aware Riemannian generative-contrastive learning to capture motif regularity in the constructed manifold and learn motif-aware node representation without external labels. Empirical results show the superiority of MofitRGC.
• Abstract（参考訳）: グラフは複雑な構造の非ユークリッドデータである。 近年、リーマングラフ表現学習はユークリッドグラフに代わるエキサイティングな選択肢として現れている。 しかし、リーマンの手法はまだ初期段階であり、そのほとんどは構造的複雑性に関係なく単一の曲率(ラディウス)を持ち、指数的/対数写像による数値的不安定さに苦しんでおり、モチーフの正則性を捉えられない。 上記の問題を考慮し,ラベルのない多変数曲率多様体におけるモチーフ正則性を捉える数値的に安定なエンコーダを求める,emph{Motif-aware Riemannian Graph Representation Learning} 問題を提案する。 そこで本研究では,リーマン多様体におけるminmaxゲームを自己教師付きで行う,生成的コントラスト学習(motifrgc)を備えたモチーフ認識リーマンモデルを提案する。 まず,多変数化係数を持つ積層で多変数曲率多様体を構築し,指数/対数写像を安定なカーネル層で置き換える新しいタイプのリーマンGCN(D-GCN)を提案する。 第二に、構成多様体のモチーフ正則性を捕捉し、外部ラベルなしでモチーフ対応ノード表現を学習するためのモチーフ対応リーマン生成比較学習を導入する。 経験的結果はMofitRGCの優位性を示している。

関連論文リスト

• A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
  本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-09T08:11:46Z)
• DeepRicci: Self-supervised Graph Structure-Feature Co-Refinement for Alleviating Over-squashing [72.70197960100677]
  グラフ構造学習(GSL)はグラフニューラルネットワーク(GNN)を改良したグラフで強化する上で重要な役割を果たしている。 GSLソリューションは、通常、タスク固有の監督(ノード分類)による構造改善に焦点を当てるか、GNN自体の固有の弱点を見落としている。 本稿では,典型的なGNNにおけるオーバー・スカッシングの問題を効果的に緩和する,自己教師付きグラフ構造-機能共分法について検討する。
  論文  参考訳（メタデータ） (2024-01-23T14:06:08Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Self-Supervised Continual Graph Learning in Adaptive Riemannian Spaces [74.03252813800334]
  連続的なグラフ学習は、様々なタスクを持つグラフデータが順次やってくる様々な現実世界のアプリケーションにおいて、その役割を日常的に発見する。 既存の手法はゼロ曲率ユークリッド空間で作用し、次のグラフ列で曲率が変化するという事実をほとんど無視する。 上記の課題に対処するため,本稿では,自己教師付き連続グラフ学習という,挑戦的かつ実践的な課題について検討する。
  論文  参考訳（メタデータ） (2022-11-30T15:25:27Z)
• Riemannian Score-Based Generative Modeling [56.20669989459281]
  経験的性能を示すスコアベース生成モデル(SGM)を紹介する。 現在のSGMは、そのデータが平坦な幾何学を持つユークリッド多様体上で支えられているという前提を定めている。 これにより、ロボット工学、地球科学、タンパク質モデリングの応用にこれらのモデルを使用することができない。
  論文  参考訳（メタデータ） (2022-02-06T11:57:39Z)
• A Self-supervised Mixed-curvature Graph Neural Network [76.3790248465522]
  自己教師型混合曲率グラフニューラルネットワーク(SelfMGNN)を提案する。 我々は、SelfMGNNが現実の複雑なグラフ構造をキャプチャし、最先端のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2021-12-10T08:56:55Z)
• Semi-Riemannian Graph Convolutional Networks [36.09315878397234]
  まず、定数非零曲率の半リーマン多様体のデータをモデル化する原理付きセミリーマンGCNを開発する。 本手法は,階層型グラフのような混合ヘテロジニアストポロジーをサイクルでモデル化するのに十分柔軟である幾何学的帰納バイアスを与える。
  論文  参考訳（メタデータ） (2021-06-06T14:23:34Z)
• Conformal retrofitting via Riemannian manifolds: distilling task-specific graphs into pretrained embeddings [1.2970250708769708]
  事前訓練された埋め込みは、多くの機械学習アプリケーションにおいて中心となる、単語のようなエンティティのタスクに依存しない汎用的特徴表現である。 既存のリトライフィッティングアルゴリズムは、2つの制限に直面している。 本稿では,非ユークリッド多様体に事前学習した埋め込みから局所幾何学を保存する新しい正規化器,共形正規化器,および,非ユークリッド多様体への埋め込みを学習するフィードフォワード層を提案する。
  論文  参考訳（メタデータ） (2020-10-09T23:06:57Z)
• Computationally Tractable Riemannian Manifolds for Graph Embeddings [10.420394952839242]
  我々は、ある曲面リーマン空間におけるグラフ埋め込みを学習し、最適化する方法を示す。 我々の結果は、機械学習パイプラインにおける非ユークリッド埋め込みの利点の新たな証拠として役立ちます。
  論文  参考訳（メタデータ） (2020-02-20T10:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。