論文の概要: OpenGraph: Towards Open Graph Foundation Models
- arxiv url: http://arxiv.org/abs/2403.01121v1
- Date: Sat, 2 Mar 2024 08:05:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 15:06:42.216251
- Title: OpenGraph: Towards Open Graph Foundation Models
- Title(参考訳): OpenGraph: Open Graph Foundationモデルに向けて
- Authors: Lianghao Xia, Ben Kao and Chao Huang
- Abstract要約: 本研究では,多種多様なグラフデータに存在する複雑なトポロジ的パターンを理解するための一般グラフ基盤モデルを構築した。
本稿では,グラフモデルに統一的なグラフトークン化手法を提案する。
また,グローバルなトポロジ的コンテキスト内のノード依存性を効果的にキャプチャするスケーラブルなグラフ変換器を開発した。
- 参考スコア(独自算出の注目度): 22.929100194849113
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph learning has become indispensable for interpreting and harnessing
relational data in diverse fields, ranging from recommendation systems to
social network analysis. In this context, a variety of GNNs have emerged as
promising methodologies for encoding the structural information of graphs. By
effectively capturing the graph's underlying structure, these GNNs have shown
great potential in enhancing performance in graph learning tasks, such as link
prediction and node classification. However, despite their successes, a
significant challenge persists: these advanced methods often face difficulties
in generalizing to unseen graph data that significantly differs from the
training instances. In this work, our aim is to advance the graph learning
paradigm by developing a general graph foundation model. This model is designed
to understand the complex topological patterns present in diverse graph data,
enabling it to excel in zero-shot graph learning tasks across different
downstream datasets. To achieve this goal, we address several key technical
challenges in our OpenGraph model. Firstly, we propose a unified graph
tokenizer to adapt our graph model to generalize well on unseen graph data,
even when the underlying graph properties differ significantly from those
encountered during training. Secondly, we develop a scalable graph transformer
as the foundational encoder, which effectively captures node-wise dependencies
within the global topological context. Thirdly, we introduce a data
augmentation mechanism enhanced by a LLM to alleviate the limitations of data
scarcity in real-world scenarios. Extensive experiments validate the
effectiveness of our framework. By adapting our OpenGraph to new graph
characteristics and comprehending the nuances of diverse graphs, our approach
achieves remarkable zero-shot graph learning performance across various
settings and domains.
- Abstract(参考訳): グラフ学習は、レコメンデーションシステムからソーシャルネットワーク分析まで、さまざまな分野における関係データの解釈と活用に不可欠である。
この文脈では、グラフの構造情報を符号化するための有望な手法として様々なGNNが出現している。
グラフの基盤構造を効果的に把握することにより、これらのGNNは、リンク予測やノード分類といったグラフ学習タスクのパフォーマンスを高める大きな可能性を示している。
これらの高度な手法は、トレーニングインスタンスと大きく異なる未確認のグラフデータへの一般化において、しばしば困難に直面します。
本研究の目的は,汎用グラフ基礎モデルの開発により,グラフ学習パラダイムを前進させることである。
このモデルは、多様なグラフデータに存在する複雑なトポロジパターンを理解するために設計されており、異なる下流データセットをまたいだゼロショットグラフ学習タスクを最適化することができる。
この目標を達成するために、OpenGraphモデルのいくつかの重要な技術的課題に対処します。
まず,基礎となるグラフ特性がトレーニング中に遭遇したグラフと大きく異なる場合でも,グラフモデルを適用して未認識のグラフデータにうまく一般化する統一グラフトークン化手法を提案する。
第2に,グローバルトポロジカルコンテキスト内のノード依存性を効果的にキャプチャする基盤エンコーダとして,スケーラブルなグラフトランスフォーマを開発する。
第3に,LLMによって強化されたデータ拡張機構を導入し,実世界のシナリオにおけるデータ不足の限界を軽減する。
広範な実験は、我々のフレームワークの有効性を検証する。
我々はOpenGraphを新しいグラフ特性に適用し、多様なグラフのニュアンスを理解することにより、様々な設定や領域にわたって優れたゼロショットグラフ学習性能を実現する。
関連論文リスト
- GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。
既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。
グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
論文 参考訳(メタデータ) (2024-02-23T08:29:42Z) - UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - A Topology-aware Graph Coarsening Framework for Continual Graph Learning [8.136809136959302]
グラフに関する継続的な学習は、グラフデータがストリーミング形式で到着するグラフニューラルネットワーク(GNN)のトレーニングに対処する。
Experience Replayのような従来の継続的学習戦略は、ストリーミンググラフに適応することができる。
本稿では, TA$mathbbCO$, a (t)opology-(a)ware graph (co)arsening and (co)ntinual learning frameworkを提案する。
論文 参考訳(メタデータ) (2024-01-05T22:22:13Z) - GraphMaker: Can Diffusion Models Generate Large Attributed Graphs? [8.008021732866055]
ノード属性を持つ大規模グラフは、様々な現実世界のアプリケーションでますます一般的になっている。
従来のグラフ生成法は、これらの複雑な構造を扱う能力に制限がある。
本稿では,大きな属性グラフを生成するために特別に設計された新しい拡散モデルであるGraphMakerを紹介する。
論文 参考訳(メタデータ) (2023-10-20T22:12:46Z) - GraphGPT: Graph Instruction Tuning for Large Language Models [28.20142151965313]
本稿では,大規模言語モデルとグラフ構造知識を整合させるGraphGPTフレームワークを提案する。
また,ライトウェイトなグラフテキストアライメントプロジェクタを伴って,2段階の命令チューニングパラダイムを提案する。
本フレームワークは,教師付きおよびゼロショットグラフ学習タスクで評価され,より優れた一般化と最先端のベースラインを実現している。
論文 参考訳(メタデータ) (2023-10-19T06:17:46Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳(メタデータ) (2023-06-20T03:33:22Z) - Data Augmentation for Deep Graph Learning: A Survey [66.04015540536027]
まず,グラフデータ拡張のための分類法を提案し,その拡張情報モダリティに基づいて関連研究を分類し,構造化されたレビューを提供する。
DGLにおける2つの課題(すなわち、最適グラフ学習と低リソースグラフ学習)に焦点を当て、グラフデータ拡張に基づく既存の学習パラダイムについて議論し、レビューする。
論文 参考訳(メタデータ) (2022-02-16T18:30:33Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳(メタデータ) (2022-01-17T11:57:29Z) - GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。
具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。
エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
論文 参考訳(メタデータ) (2021-06-05T07:07:52Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳(メタデータ) (2021-05-22T07:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。