論文の概要: Empowering Dual-Level Graph Self-Supervised Pretraining with Motif Discovery

• arxiv url: http://arxiv.org/abs/2312.11927v1
• Date: Tue, 19 Dec 2023 08:09:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 16:38:20.728655
• Title: Empowering Dual-Level Graph Self-Supervised Pretraining with Motif Discovery
• Title（参考訳）: モチーフ発見によるデュアルレベルグラフ自己教師付き事前学習
• Authors: Pengwei Yan, Kaisong Song, Zhuoren Jiang, Yangyang Kang, Tianqianjin Lin, Changlong Sun, Xiaozhong Liu
• Abstract要約: Dual-level Graph self-supervised Pretraining with Motif Discovery (DGPM)を紹介する。 DGPMはノードレベルとサブグラフレベルのプリテキストタスクをオーケストレーションする。 15データセットの実験は、DGPMの有効性と一般化性を検証する。
• 参考スコア（独自算出の注目度）: 28.38130326794833
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While self-supervised graph pretraining techniques have shown promising results in various domains, their application still experiences challenges of limited topology learning, human knowledge dependency, and incompetent multi-level interactions. To address these issues, we propose a novel solution, Dual-level Graph self-supervised Pretraining with Motif discovery (DGPM), which introduces a unique dual-level pretraining structure that orchestrates node-level and subgraph-level pretext tasks. Unlike prior approaches, DGPM autonomously uncovers significant graph motifs through an edge pooling module, aligning learned motif similarities with graph kernel-based similarities. A cross-matching task enables sophisticated node-motif interactions and novel representation learning. Extensive experiments on 15 datasets validate DGPM's effectiveness and generalizability, outperforming state-of-the-art methods in unsupervised representation learning and transfer learning settings. The autonomously discovered motifs demonstrate the potential of DGPM to enhance robustness and interpretability.
• Abstract（参考訳）: 自己教師付きグラフ事前学習技術は、様々な領域で有望な結果を示しているが、そのアプリケーションは、限られたトポロジ学習、人間の知識依存、無能なマルチレベル相互作用といった課題を経験している。 これらの問題に対処するために、ノードレベルおよびサブグラフレベルのプリテキストタスクをオーケストレーションする独自のデュアルレベル事前トレーニング構造を導入するDGPM(Dual-level Graph Self-supervised Pretraining with Motif Discovery)を提案する。 従来のアプローチとは異なり、DGPMはエッジプーリングモジュールを通じて重要なグラフモチーフを自律的に発見し、学習されたモチーフの類似性をグラフカーネルベースの類似性と整合させる。 クロスマッチングタスクは、洗練されたノード-モチーフ相互作用と新しい表現学習を可能にする。 15のデータセットに関する広範囲な実験は、教師なし表現学習と転送学習の設定において、dgpmの有効性と一般化性を検証する。 自律的に発見されたモチーフは、堅牢性と解釈可能性を高めるためのDGPMの可能性を示している。

関連論文リスト

• Disentangled Generative Graph Representation Learning [51.59824683232925]
  本稿では,自己教師型学習フレームワークであるDiGGR(Disentangled Generative Graph Representation Learning)を紹介する。 潜伏要因を学習し、それをグラフマスクモデリングのガイドとして活用することを目的としている。 2つの異なるグラフ学習タスクのための11の公開データセットの実験は、DiGGRが従来よりも一貫して多くの自己教師付きメソッドを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-24T05:13:02Z)
• Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
  フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。 我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。 4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
  論文  参考訳（メタデータ） (2024-02-22T10:19:34Z)
• Isomorphic-Consistent Variational Graph Auto-Encoders for Multi-Level Graph Representation Learning [9.039193854524763]
  本稿では,タスク非依存グラフ表現学習のためのアイソモルフィック-一貫性VGAE(IsoC-VGAE)を提案する。 まず、同型整合性を維持する理論的保証を提供するための復号法を考案する。 次に,逆グラフニューラルネットワーク(Inv-GNN)デコーダを直感的な実現法として提案する。
  論文  参考訳（メタデータ） (2023-12-09T10:16:53Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Self-supervised Heterogeneous Graph Pre-training Based on Structural Clustering [20.985559149384795]
  SHGP(Self-supervised Heterogeneous Graph Pre-training approach)を提案する。 肯定的な例や否定的な例を生成する必要はない。 最先端の教師なしベースラインや半教師なしベースラインよりも優れている。
  論文  参考訳（メタデータ） (2022-10-19T10:55:48Z)
• Iterative Graph Self-Distillation [161.04351580382078]
  我々は、IGSD(Iterative Graph Self-Distillation)と呼ばれる新しい教師なしグラフ学習パラダイムを提案する。 IGSDは、グラフ拡張による教師/学生の蒸留を反復的に行う。 我々は,教師なしと半教師なしの両方の設定において,さまざまなグラフデータセットに対して,有意かつ一貫したパフォーマンス向上を実現していることを示す。
  論文  参考訳（メタデータ） (2020-10-23T18:37:06Z)
• Deep Graph Contrastive Representation Learning [23.37786673825192]
  ノードレベルでの対照的な目的を生かして,教師なしグラフ表現学習のための新しいフレームワークを提案する。 具体的には,この2つのビューにおけるノード表現の一致を最大化することにより,ノード表現の破損と学習によって2つのグラフビューを生成する。 我々は,様々な実世界のデータセットを用いて,帰納的および帰納的学習タスクの実証実験を行った。
  論文  参考訳（メタデータ） (2020-06-07T11:50:45Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。