論文の概要: Exploring Task Unification in Graph Representation Learning via Generative Approach

• arxiv url: http://arxiv.org/abs/2403.14340v1
• Date: Thu, 21 Mar 2024 12:14:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 14:28:30.321102
• Title: Exploring Task Unification in Graph Representation Learning via Generative Approach
• Title（参考訳）: 生成的アプローチによるグラフ表現学習におけるタスク統合の探索
• Authors: Yulan Hu, Sheng Ouyang, Zhirui Yang, Ge Chen, Junchen Wan, Xiao Wang, Yong Liu,
• Abstract要約: グラフは現実世界のシナリオにおいてユビキタスであり、ノードレベル、エッジレベル、グラフレベルのタスクから移行学習まで、さまざまなタスクを含んでいる。 最近の取り組みは、複数のグラフタスクをまたいで一般化できる統一されたフレームワークを設計することを目的としている。 これらのうち、グラフオートエンコーダ(GAE)は、様々なグラフタスクに効果的に対処する可能性を示している。 本稿では,これらの課題にシームレスに対処可能な,対向マスク型オートエンコーダであるGA2Eを提案する。
• 参考スコア（独自算出の注目度）: 12.983429541410617
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Graphs are ubiquitous in real-world scenarios and encompass a diverse range of tasks, from node-, edge-, and graph-level tasks to transfer learning. However, designing specific tasks for each type of graph data is often costly and lacks generalizability. Recent endeavors under the "Pre-training + Fine-tuning" or "Pre-training + Prompt" paradigms aim to design a unified framework capable of generalizing across multiple graph tasks. Among these, graph autoencoders (GAEs), generative self-supervised models, have demonstrated their potential in effectively addressing various graph tasks. Nevertheless, these methods typically employ multi-stage training and require adaptive designs, which on one hand make it difficult to be seamlessly applied to diverse graph tasks and on the other hand overlook the negative impact caused by discrepancies in task objectives between the different stages. To address these challenges, we propose GA^2E, a unified adversarially masked autoencoder capable of addressing the above challenges seamlessly. Specifically, GA^2E proposes to use the subgraph as the meta-structure, which remains consistent across all graph tasks (ranging from node-, edge-, and graph-level to transfer learning) and all stages (both during training and inference). Further, GA^2E operates in a \textbf{"Generate then Discriminate"} manner. It leverages the masked GAE to reconstruct the input subgraph whilst treating it as a generator to compel the reconstructed graphs resemble the input subgraph. Furthermore, GA^2E introduces an auxiliary discriminator to discern the authenticity between the reconstructed (generated) subgraph and the input subgraph, thus ensuring the robustness of the graph representation through adversarial training mechanisms. We validate GA^2E's capabilities through extensive experiments on 21 datasets across four types of graph tasks.
• Abstract（参考訳）: グラフは現実世界のシナリオにおいてユビキタスであり、ノードレベル、エッジレベル、グラフレベルのタスクから移行学習まで、さまざまなタスクを含んでいる。 しかし、グラフデータの種類ごとに特定のタスクを設計するのは、しばしばコストがかかり、一般化性に欠ける。 プレトレーニング+ファインチューニング(Pre-training + Fine-tuning)"や"プレトレーニング+プロンプト(Pre-training + Prompt)"パラダイムの下での最近の取り組みは、複数のグラフタスクをまたいで一般化可能な統一フレームワークを設計することを目的としている。 これらのうち、生成自己教師付きモデルであるグラフオートエンコーダ(GAE)は、様々なグラフタスクに効果的に対処する可能性を実証している。 それにもかかわらず、これらの手法は通常多段階の訓練を施し、適応的な設計を必要とする。一方、多様なグラフタスクにシームレスに適用することは困難であり、他方、異なるステージ間のタスク目的の相違による負の影響を見落としている。 これらの課題に対処するために, GA^2E を提案する。 具体的には、GA^2Eはサブグラフをメタ構造として用いることを提案し、これは全てのグラフタスク(ノードレベル、エッジレベル、グラフレベルからトランスファーラーニングまで)と全てのステージ(トレーニングと推論の両方)で一貫している。 さらに GA^2E は \textbf{"Generate then Discriminate" のやり方で動作する。 マスク付きGAEを利用して入力サブグラフを再構築すると同時に、再構成されたグラフを入力サブグラフに類似させるジェネレータとして扱う。 さらに、GA^2Eは、再構成された(生成された)サブグラフと入力されたサブグラフとの信頼度を識別する補助判別器を導入し、敵対的な学習機構を通じてグラフ表現の堅牢性を確保する。 GA^2Eの能力は、4種類のグラフタスクにまたがる21のデータセットの広範な実験により検証する。

関連論文リスト

• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
  グラフにおけるクロスタスクの一般性を学習するための新しいアプローチを提案する。 グラフ上のタスク空間を整列させるための基本的な学習インスタンスとしてタスクツリーを提案する。 その結果,グラフニューラルネットワークが多種多様なタスクツリーで事前訓練された場合,伝達可能な知識を取得することが示唆された。
  論文  参考訳（メタデータ） (2024-12-21T02:07:43Z)
• Adapting Unsigned Graph Neural Networks for Signed Graphs: A Few-Shot Prompt Tuning Approach [8.42756062274768]
  グラフニューラルネットワーク(GNN)は、符号付きグラフ表現学習のための強力なツールであるが、限定的な一般化とラベル付きデータへの強い依存に苦慮している。 本稿では,符号付きグラフから符号付きグラフタスクへ知識を伝達するために,SGPT(Signed Graph Prompt Tuning)を提案する。 具体的には、SGPTはグラフテンプレートとセマンティックプロンプトを使用して、署名されたグラフ内の混合リンクセマンティクスを分離し、下流タスクのニーズに応じて固有のセマンティクス情報を適応的に統合する。
  論文  参考訳（メタデータ） (2024-12-11T09:22:46Z)
• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• MuseGraph: Graph-oriented Instruction Tuning of Large Language Models for Generic Graph Mining [41.19687587548107]
  グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。 GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。 実験結果から,異なるグラフタスクの大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-03-02T09:27:32Z)
• One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
  様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。 上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。 OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
  論文  参考訳（メタデータ） (2023-09-29T21:15:26Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Multi-View Graph Representation Learning Beyond Homophily [2.601278669926709]
  非教師付きグラフ表現学習(GRL)は,多種多様なグラフ情報をラベル管理なしでタスクに依存しない埋め込みに抽出することを目的としている。 MVGE(Multi-view Graph)と呼ばれる新しいフレームワークを提案し、キーデザインのセットを特定した。
  論文  参考訳（メタデータ） (2023-04-15T08:35:49Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。