論文の概要: Exploring Task Unification in Graph Representation Learning via Generative Approach
- arxiv url: http://arxiv.org/abs/2403.14340v1
- Date: Thu, 21 Mar 2024 12:14:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 14:28:30.321102
- Title: Exploring Task Unification in Graph Representation Learning via Generative Approach
- Title(参考訳): 生成的アプローチによるグラフ表現学習におけるタスク統合の探索
- Authors: Yulan Hu, Sheng Ouyang, Zhirui Yang, Ge Chen, Junchen Wan, Xiao Wang, Yong Liu,
- Abstract要約: グラフは現実世界のシナリオにおいてユビキタスであり、ノードレベル、エッジレベル、グラフレベルのタスクから移行学習まで、さまざまなタスクを含んでいる。
最近の取り組みは、複数のグラフタスクをまたいで一般化できる統一されたフレームワークを設計することを目的としている。
これらのうち、グラフオートエンコーダ(GAE)は、様々なグラフタスクに効果的に対処する可能性を示している。
本稿では,これらの課題にシームレスに対処可能な,対向マスク型オートエンコーダであるGA2Eを提案する。
- 参考スコア(独自算出の注目度): 12.983429541410617
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Graphs are ubiquitous in real-world scenarios and encompass a diverse range of tasks, from node-, edge-, and graph-level tasks to transfer learning. However, designing specific tasks for each type of graph data is often costly and lacks generalizability. Recent endeavors under the "Pre-training + Fine-tuning" or "Pre-training + Prompt" paradigms aim to design a unified framework capable of generalizing across multiple graph tasks. Among these, graph autoencoders (GAEs), generative self-supervised models, have demonstrated their potential in effectively addressing various graph tasks. Nevertheless, these methods typically employ multi-stage training and require adaptive designs, which on one hand make it difficult to be seamlessly applied to diverse graph tasks and on the other hand overlook the negative impact caused by discrepancies in task objectives between the different stages. To address these challenges, we propose GA^2E, a unified adversarially masked autoencoder capable of addressing the above challenges seamlessly. Specifically, GA^2E proposes to use the subgraph as the meta-structure, which remains consistent across all graph tasks (ranging from node-, edge-, and graph-level to transfer learning) and all stages (both during training and inference). Further, GA^2E operates in a \textbf{"Generate then Discriminate"} manner. It leverages the masked GAE to reconstruct the input subgraph whilst treating it as a generator to compel the reconstructed graphs resemble the input subgraph. Furthermore, GA^2E introduces an auxiliary discriminator to discern the authenticity between the reconstructed (generated) subgraph and the input subgraph, thus ensuring the robustness of the graph representation through adversarial training mechanisms. We validate GA^2E's capabilities through extensive experiments on 21 datasets across four types of graph tasks.
- Abstract(参考訳): グラフは現実世界のシナリオにおいてユビキタスであり、ノードレベル、エッジレベル、グラフレベルのタスクから移行学習まで、さまざまなタスクを含んでいる。
しかし、グラフデータの種類ごとに特定のタスクを設計するのは、しばしばコストがかかり、一般化性に欠ける。
プレトレーニング+ファインチューニング(Pre-training + Fine-tuning)"や"プレトレーニング+プロンプト(Pre-training + Prompt)"パラダイムの下での最近の取り組みは、複数のグラフタスクをまたいで一般化可能な統一フレームワークを設計することを目的としている。
これらのうち、生成自己教師付きモデルであるグラフオートエンコーダ(GAE)は、様々なグラフタスクに効果的に対処する可能性を実証している。
それにもかかわらず、これらの手法は通常多段階の訓練を施し、適応的な設計を必要とする。一方、多様なグラフタスクにシームレスに適用することは困難であり、他方、異なるステージ間のタスク目的の相違による負の影響を見落としている。
これらの課題に対処するために, GA^2E を提案する。
具体的には、GA^2Eはサブグラフをメタ構造として用いることを提案し、これは全てのグラフタスク(ノードレベル、エッジレベル、グラフレベルからトランスファーラーニングまで)と全てのステージ(トレーニングと推論の両方)で一貫している。
さらに GA^2E は \textbf{"Generate then Discriminate" のやり方で動作する。
マスク付きGAEを利用して入力サブグラフを再構築すると同時に、再構成されたグラフを入力サブグラフに類似させるジェネレータとして扱う。
さらに、GA^2Eは、再構成された(生成された)サブグラフと入力されたサブグラフとの信頼度を識別する補助判別器を導入し、敵対的な学習機構を通じてグラフ表現の堅牢性を確保する。
GA^2Eの能力は、4種類のグラフタスクにまたがる21のデータセットの広範な実験により検証する。
関連論文リスト
- MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。
GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。
実験結果から,異なるグラフタスクの大幅な改善が示された。
論文 参考訳(メタデータ) (2024-03-02T09:27:32Z) - UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - One for All: Towards Training One Graph Model for All Classification
Tasks [64.74879508476636]
様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。
上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。
OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
論文 参考訳(メタデータ) (2023-09-29T21:15:26Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳(メタデータ) (2023-06-20T03:33:22Z) - Multi-View Graph Representation Learning Beyond Homophily [2.601278669926709]
非教師付きグラフ表現学習(GRL)は,多種多様なグラフ情報をラベル管理なしでタスクに依存しない埋め込みに抽出することを目的としている。
MVGE(Multi-view Graph)と呼ばれる新しいフレームワークを提案し、キーデザインのセットを特定した。
論文 参考訳(メタデータ) (2023-04-15T08:35:49Z) - GraphMAE: Self-Supervised Masked Graph Autoencoders [52.06140191214428]
本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。
我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。
その結果,GraphMAEはグラフオートエンコーダであり,設計に注意を払っている。
論文 参考訳(メタデータ) (2022-05-22T11:57:08Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳(メタデータ) (2021-05-22T07:05:48Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。