論文の概要: Refining Latent Representations: A Generative SSL Approach for Heterogeneous Graph Learning
- arxiv url: http://arxiv.org/abs/2310.11102v4
- Date: Sat, 20 Apr 2024 07:34:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 00:32:57.994390
- Title: Refining Latent Representations: A Generative SSL Approach for Heterogeneous Graph Learning
- Title（参考訳）: Refining Latent Representations: Heterogeneous Graph LearningのためのジェネレーティブSSLアプローチ
- Authors: Yulan Hu, Zhirui Yang, Sheng Ouyang, Yong Liu,
- Abstract要約: 異種グラフ学習(HGL)に特化して設計された生成型SSL方式HGVAEを提案する。
HGVAEは不均一性を捉える複雑な戦略を設計する代わりに、潜伏表現の精細化に重点を置いている。
HGLに生成SSLを適用する先駆者として、HGVAEは潜在表現を洗練し、高品質な表現を学ぶようモデルに促す。
- 参考スコア（独自算出の注目度）: 9.686218058331061
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-Supervised Learning (SSL) has shown significant potential and has garnered increasing interest in graph learning. However, particularly for generative SSL methods, its potential in Heterogeneous Graph Learning (HGL) remains relatively underexplored. Generative SSL utilizes an encoder to map the input graph into a latent representation and a decoder to recover the input graph from the latent representation. Previous HGL SSL methods generally design complex strategies to capture graph heterogeneity, which heavily rely on contrastive view construction strategies that are often non-trivial. Yet, refining the latent representation in generative SSL can effectively improve graph learning results. In this study, we propose HGVAE, a generative SSL method specially designed for HGL. Instead of focusing on designing complex strategies to capture heterogeneity, HGVAE centers on refining the latent representation. Specifically, HGVAE innovatively develops a contrastive task based on the latent representation. To ensure the hardness of negative samples, we develop a progressive negative sample generation (PNSG) mechanism that leverages the ability of Variational Inference (VI) to generate high-quality negative samples. As a pioneer in applying generative SSL for HGL, HGVAE refines the latent representation, thereby compelling the model to learn high-quality representations. Compared with various state-of-the-art (SOTA) baselines, HGVAE achieves impressive results, thus validating its superiority.
- Abstract（参考訳）: 自己監視学習(SSL)は大きな可能性を示し、グラフ学習への関心が高まっている。
しかし、生成的SSL法では、HGL(Heterogeneous Graph Learning)の可能性はいまだに未解明である。
Generative SSLは、エンコーダを使用して、入力グラフを潜在表現にマッピングし、デコーダを使用して潜在表現から入力グラフを復元する。
従来のHGL SSLメソッドは一般的にグラフの不均一性を捕捉するための複雑な戦略を設計するが、これはしばしば非自明なビュー構築戦略に大きく依存している。
しかし、生成SSLにおける潜伏表現の精細化は、グラフ学習結果を効果的に改善することができる。
本研究では,HGL用に特別に設計された生成SSL方式であるHGVAEを提案する。
HGVAEは不均一性を捉える複雑な戦略を設計する代わりに、潜伏表現の精細化に重点を置いている。
具体的には、HGVAEは、潜在表現に基づく対照的なタスクを革新的に開発する。
負のサンプルの硬さを確保するために,変分推論(VI)を利用して高品質な負のサンプルを生成するプログレッシブ・ネガティブ・サンプル生成(PNSG)機構を開発した。
HGLに生成SSLを適用する先駆者として、HGVAEは潜在表現を洗練し、高品質な表現を学ぶようモデルに促す。
様々な最先端(SOTA)ベースラインと比較して、HGVAEは印象的な結果をもたらし、その優位性を検証する。
関連論文リスト
- Variational Graph Contrastive Learning [1.9950682531209158]
グラフ表現学習(GRL)は、高次元グラフ構造化データを低次元ベクトルに符号化することを目的とした機械学習の基本課題である。
本研究では,SGEC(Subgraph Gaussian Embedding Contrast)法を提案する。
論文 参考訳（メタデータ） (2024-11-11T17:23:07Z) - Enhancing Graph Self-Supervised Learning with Graph Interplay [8.775644935074407]
Graph Interplay(GIP)は、様々な既存のGSSLメソッドを備えたパフォーマンスを大幅に向上させる革新的で汎用的なアプローチである。
GIPは、標準バッチ内でランダムなグラフ間エッジによる直接グラフレベルの通信を導入することを提唱している。
我々の実証研究は、GIPが広く普及しているGSSL法の性能を大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2024-10-05T07:05:21Z) - Disentangled Generative Graph Representation Learning [51.59824683232925]
本稿では,自己教師型学習フレームワークであるDiGGR(Disentangled Generative Graph Representation Learning)を紹介する。
潜伏要因を学習し、それをグラフマスクモデリングのガイドとして活用することを目的としている。
2つの異なるグラフ学習タスクのための11の公開データセットの実験は、DiGGRが従来よりも一貫して多くの自己教師付きメソッドを上回っていることを示している。
論文 参考訳（メタデータ） (2024-08-24T05:13:02Z) - ExGRG: Explicitly-Generated Relation Graph for Self-Supervised Representation Learning [4.105236597768038]
自己教師型学習は、ディープラーニングモデルの事前学習において、強力なテクニックとして登場した。
本稿では,合成関係グラフを明示的に生成する新しい非競合SSL手法を提案する。
論文 参考訳（メタデータ） (2024-02-09T19:16:04Z) - VIGraph: Generative Self-supervised Learning for Class-Imbalanced Node Classification [9.686218058331061]
グラフデータのクラス不均衡は、ノード分類において重要な課題である。
SMOTEベースのアプローチのような既存の手法は、不均衡グラフを構築する際の限界を示す。
本稿では,変分GAEを基本モデルとする簡易かつ効果的な生成型SSL手法であるVIGraphを紹介する。
論文 参考訳（メタデータ） (2023-11-02T12:36:19Z) - GraphMAE: Self-Supervised Masked Graph Autoencoders [52.06140191214428]
本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。
我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。
その結果,GraphMAEはグラフオートエンコーダであり,設計に注意を払っている。
論文 参考訳（メタデータ） (2022-05-22T11:57:08Z) - Heterogeneous Graph Neural Networks using Self-supervised Reciprocally
Contrastive Learning [102.9138736545956]
不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。
我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。
この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
論文 参考訳（メタデータ） (2022-04-30T12:57:02Z) - Graph Structure Learning with Variational Information Bottleneck [70.62851953251253]
本稿では,新しい変分情報ボトルネックガイド付きグラフ構造学習フレームワーク,すなわちVIB-GSLを提案する。
VIB-GSLは情報的かつ圧縮的なグラフ構造を学習し、特定の下流タスクに対して実行可能な情報を蒸留する。
論文 参考訳（メタデータ） (2021-12-16T14:22:13Z) - Parameterized Hypercomplex Graph Neural Networks for Graph
Classification [1.1852406625172216]
我々は超複雑特徴変換の特性を利用するグラフニューラルネットワークを開発した。
特に、提案したモデルのクラスでは、代数自身を特定する乗法則は、トレーニング中にデータから推測される。
提案するハイパーコンプレックスgnnをいくつかのオープングラフベンチマークデータセット上でテストし,そのモデルが最先端の性能に達することを示す。
論文 参考訳（メタデータ） (2021-03-30T18:01:06Z) - Contrastive and Generative Graph Convolutional Networks for Graph-based
Semi-Supervised Learning [64.98816284854067]
グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。
本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-15T13:59:28Z) - High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。
提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。
単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
論文 参考訳（メタデータ） (2020-01-13T14:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。