論文の概要: Self-Supervised Continual Graph Learning in Adaptive Riemannian Spaces

• arxiv url: http://arxiv.org/abs/2211.17068v1
• Date: Wed, 30 Nov 2022 15:25:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 17:33:29.221287
• Title: Self-Supervised Continual Graph Learning in Adaptive Riemannian Spaces
• Title（参考訳）: 適応リーマン空間における自己教師付き連続グラフ学習
• Authors: Li Sun, Junda Ye, Hao Peng, Feiyang Wang, Philip S. Yu
• Abstract要約: 連続的なグラフ学習は、様々なタスクを持つグラフデータが順次やってくる様々な現実世界のアプリケーションにおいて、その役割を日常的に発見する。 既存の手法はゼロ曲率ユークリッド空間で作用し、次のグラフ列で曲率が変化するという事実をほとんど無視する。 上記の課題に対処するため,本稿では,自己教師付き連続グラフ学習という,挑戦的かつ実践的な課題について検討する。
• 参考スコア（独自算出の注目度）: 74.03252813800334
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Continual graph learning routinely finds its role in a variety of real-world applications where the graph data with different tasks come sequentially. Despite the success of prior works, it still faces great challenges. On the one hand, existing methods work with the zero-curvature Euclidean space, and largely ignore the fact that curvature varies over the coming graph sequence. On the other hand, continual learners in the literature rely on abundant labels, but labeling graph in practice is particularly hard especially for the continuously emerging graphs on-the-fly. To address the aforementioned challenges, we propose to explore a challenging yet practical problem, the self-supervised continual graph learning in adaptive Riemannian spaces. In this paper, we propose a novel self-supervised Riemannian Graph Continual Learner (RieGrace). In RieGrace, we first design an Adaptive Riemannian GCN (AdaRGCN), a unified GCN coupled with a neural curvature adapter, so that Riemannian space is shaped by the learnt curvature adaptive to each graph. Then, we present a Label-free Lorentz Distillation approach, in which we create teacher-student AdaRGCN for the graph sequence. The student successively performs intra-distillation from itself and inter-distillation from the teacher so as to consolidate knowledge without catastrophic forgetting. In particular, we propose a theoretically grounded Generalized Lorentz Projection for the contrastive distillation in Riemannian space. Extensive experiments on the benchmark datasets show the superiority of RieGrace, and additionally, we investigate on how curvature changes over the graph sequence.
• Abstract（参考訳）: 連続グラフ学習は、異なるタスクを持つグラフデータが順次やってくる様々な現実のアプリケーションにおいて、日常的にその役割を見出す。 先行作品の成功にもかかわらず、依然として大きな課題に直面している。 一方、既存の手法はゼロ曲率ユークリッド空間で作用し、今後のグラフ列で曲率が変化するという事実をほとんど無視する。 一方、文学における連続的な学習者は豊富なラベルに依存しているが、実際にはラベル付けグラフが特に困難である。 上記の課題に対処するために,適応リーマン空間における自己教師付き連続グラフ学習という,挑戦的で実用的な問題を検討することを提案する。 本稿では,新しい自己教師付きリーマングラフ連続学習者(riegrace)を提案する。 リーマン空間を各グラフに適応した学習曲率によって形作るために,まず適応リーマンGCN (Adaptive Riemannian GCN) とニューラル曲率アダプタを結合した統一GCNを設計する。 次に,ラベルのないローレンツ蒸留法を提案し,グラフシーケンスのための教師学習用AdaRGCNを作成する。 生徒は自らからの蒸留と教師からの蒸留を連続して行い、破滅的な忘れることなく知識を固める。 特に、リーマン空間におけるコントラスト蒸留に対する理論的に接地された一般化ローレンツ射影を提案する。 ベンチマークデータセットの大規模な実験は、RieGraceの優位性を示し、さらにグラフ列上での曲率の変化について検討する。

関連論文リスト

• Do We Really Need Graph Convolution During Training? Light Post-Training Graph-ODE for Efficient Recommendation [34.93725892725111]
  トレーニングレコメンデータシステム(RecSys)におけるグラフ畳み込みネットワーク(GCNs)は、絶え間なく懸念されてきた。 本稿では,学習段階におけるグラフ畳み込みの必要性を批判的に考察する。 光後学習グラフ正規分方程式(LightGODE)という革新的な方法を導入する。
  論文  参考訳（メタデータ） (2024-07-26T17:59:32Z)
• DeepRicci: Self-supervised Graph Structure-Feature Co-Refinement for Alleviating Over-squashing [72.70197960100677]
  グラフ構造学習(GSL)はグラフニューラルネットワーク(GNN)を改良したグラフで強化する上で重要な役割を果たしている。 GSLソリューションは、通常、タスク固有の監督(ノード分類)による構造改善に焦点を当てるか、GNN自体の固有の弱点を見落としている。 本稿では,典型的なGNNにおけるオーバー・スカッシングの問題を効果的に緩和する,自己教師付きグラフ構造-機能共分法について検討する。
  論文  参考訳（メタデータ） (2024-01-23T14:06:08Z)
• Motif-aware Riemannian Graph Neural Network with Generative-Contrastive Learning [23.041843981988503]
  ラベルのない多変数曲率多様体におけるモチーフ正則性を取得するための新しい手法を提案する。 また,構成多様体のモチーフ規則性を捉えるために,モチーフ認識型生成コントラスト学習を導入する。 実験の結果, D-GCNよりもMofitRGCの方が優れていた。
  論文  参考訳（メタデータ） (2024-01-02T14:58:26Z)
• Contrastive Graph Clustering in Curvature Spaces [74.03252813800334]
  本研究では,CONGREGATE という新しいグラフクラスタリングモデルを提案する。 幾何学的クラスタリングを支援するため、理論的に基底とした不均一曲率空間を構築した。 次に、拡張不要な再重み付きコントラスト的アプローチでグラフクラスタをトレーニングする。
  論文  参考訳（メタデータ） (2023-05-05T14:04:52Z)
• A Self-supervised Riemannian GNN with Time Varying Curvature for Temporal Graph Learning [79.20249985327007]
  自己教師型リーマングラフニューラルネットワーク(SelfRGNN)を提案する。 具体的には、理論的に基底化された時間符号化を持つ曲率変化GNNを設計し、時間とともに関数的曲率を定式化し、正、零、負の曲率空間間の進化シフトをモデル化する。 大規模な実験は、自己RGNNの優越性を示し、また、ケーススタディでは、リアルタイムグラフの時変曲率を示している。
  論文  参考訳（メタデータ） (2022-08-30T08:43:06Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• A Self-supervised Mixed-curvature Graph Neural Network [76.3790248465522]
  自己教師型混合曲率グラフニューラルネットワーク(SelfMGNN)を提案する。 我々は、SelfMGNNが現実の複雑なグラフ構造をキャプチャし、最先端のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2021-12-10T08:56:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。