論文の概要: HiGPT: Heterogeneous Graph Language Model

• arxiv url: http://arxiv.org/abs/2402.16024v2
• Date: Sun, 19 May 2024 02:28:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 23:10:31.943567
• Title: HiGPT: Heterogeneous Graph Language Model
• Title（参考訳）: HiGPT:不均一グラフ言語モデル
• Authors: Jiabin Tang, Yuhao Yang, Wei Wei, Lei Shi, Long Xia, Dawei Yin, Chao Huang,
• Abstract要約: 不均一グラフ学習は、異種グラフ内のエンティティ間の複雑な関係や多様な意味を捉えることを目的としている。 異種グラフ学習のための既存のフレームワークは、多種多様な異種グラフデータセットをまたいだ一般化に制限がある。 異種グラフ命令チューニングパラダイムを用いた一般的なグラフモデルであるHiGPTを提案する。
• 参考スコア（独自算出の注目度）: 27.390123898556805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heterogeneous graph learning aims to capture complex relationships and diverse relational semantics among entities in a heterogeneous graph to obtain meaningful representations for nodes and edges. Recent advancements in heterogeneous graph neural networks (HGNNs) have achieved state-of-the-art performance by considering relation heterogeneity and using specialized message functions and aggregation rules. However, existing frameworks for heterogeneous graph learning have limitations in generalizing across diverse heterogeneous graph datasets. Most of these frameworks follow the "pre-train" and "fine-tune" paradigm on the same dataset, which restricts their capacity to adapt to new and unseen data. This raises the question: "Can we generalize heterogeneous graph models to be well-adapted to diverse downstream learning tasks with distribution shifts in both node token sets and relation type heterogeneity?'' To tackle those challenges, we propose HiGPT, a general large graph model with Heterogeneous graph instruction-tuning paradigm. Our framework enables learning from arbitrary heterogeneous graphs without the need for any fine-tuning process from downstream datasets. To handle distribution shifts in heterogeneity, we introduce an in-context heterogeneous graph tokenizer that captures semantic relationships in different heterogeneous graphs, facilitating model adaptation. We incorporate a large corpus of heterogeneity-aware graph instructions into our HiGPT, enabling the model to effectively comprehend complex relation heterogeneity and distinguish between various types of graph tokens. Furthermore, we introduce the Mixture-of-Thought (MoT) instruction augmentation paradigm to mitigate data scarcity by generating diverse and informative instructions. Through comprehensive evaluations, our proposed framework demonstrates exceptional performance in terms of generalization performance.
• Abstract（参考訳）: 不均一グラフ学習は、ノードとエッジの有意義な表現を得るために、異種グラフ内のエンティティ間の複雑な関係と多様な関係性セマンティクスをキャプチャすることを目的としている。 ヘテロジニアスグラフニューラルネットワーク(HGNN)の最近の進歩は、関係の不均一性を考慮し、特殊メッセージ関数とアグリゲーションルールを用いることで、最先端のパフォーマンスを実現している。 しかし、異種グラフ学習のための既存のフレームワークは、多種多様な異種グラフデータセットをまたいだ一般化に制限がある。 これらのフレームワークのほとんどは、同じデータセット上の"pre-train"と"fine-tune"パラダイムに従っている。 ヘテロジニアスグラフモデルを、ノードトークンセットとリレーショナル型ヘテロジニアスの両方の分散シフトを伴う多様な下流学習タスクに順応するように一般化する?」という疑問に対処するため、ヘテロジニアスグラフ命令チューニングパラダイムを備えた一般的なグラフモデルであるHiGPTを提案する。 我々のフレームワークは、下流データセットからの微調整プロセスを必要とせずに、任意の異種グラフから学習することができる。 不均一性における分布シフトを扱うために,異種グラフ間の意味的関係を捕捉し,モデル適応を容易にする,コンテキスト内不均一グラフトークンを導入している。 ヘテロジニティを意識したグラフ命令の大規模なコーパスをHiGPTに組み込むことで、複雑な関係の不均一性を効果的に理解し、様々な種類のグラフトークンを区別することができる。 さらに,Mixture-of-Thought(MoT)命令拡張パラダイムを導入し,多様かつ情報的な命令を生成することでデータの不足を軽減する。 包括的評価を通じて,本提案フレームワークは,一般化性能の点で例外的な性能を示す。

関連論文リスト

• The Heterophilic Graph Learning Handbook: Benchmarks, Models, Theoretical Analysis, Applications and Challenges [101.83124435649358]
  ホモフィリ原理では、同じラベルや類似属性を持つieノードが接続される可能性が高い。 最近の研究で、GNNのパフォーマンスとNNのパフォーマンスが満足できない非自明なデータセットが特定されている。
  論文  参考訳（メタデータ） (2024-07-12T18:04:32Z)
• Permutation Equivariant Graph Framelets for Heterophilous Graph Learning [6.679929638714752]
  本研究では,Haar型グラフフレームレットの構築により,マルチスケール抽出を実現する手法を開発した。 ヘテロ親和性グラフの特定のデータセット上で,我々のモデルが最高の性能を達成できることが示される。
  論文  参考訳（メタデータ） (2023-06-07T09:05:56Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Geometry Contrastive Learning on Heterogeneous Graphs [50.58523799455101]
  本稿では,幾何学コントラスト学習(Geometry Contrastive Learning, GCL)と呼ばれる,新しい自己指導型学習手法を提案する。 GCLはユークリッドと双曲的な視点からヘテロジニアスグラフを同時に見ることができ、リッチな意味論と複雑な構造をモデル化する能力の強い融合を目指している。 4つのベンチマークデータセットの大規模な実験は、提案手法が強いベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-25T03:54:53Z)
• Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning [102.9138736545956]
  不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。 我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。 この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
  論文  参考訳（メタデータ） (2022-04-30T12:57:02Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)
• Learning on heterogeneous graphs using high-order relations [37.64632406923687]
  メタパスを使わずに異種グラフを学習する手法を提案する。 異種グラフを異なる同種関係型グラフに分解し、それを結合して高階関係型表現を生成する。
  論文  参考訳（メタデータ） (2021-03-29T12:02:47Z)
• Hybrid Micro/Macro Level Convolution for Heterogeneous Graph Learning [45.14314180743549]
  不均一グラフは、各グラフが複数の種類のノードとエッジから構成される現実的なシナリオで広く普及する。 既存のグラフ畳み込みアプローチのほとんどは均質グラフ用に設計されており、したがって異種グラフを扱うことはできない。 ヘテロジニアスグラフ上の包括的ノード表現を学習するための新しいヘテロジニアスグラフ畳み込み手法であるHGConvを提案する。
  論文  参考訳（メタデータ） (2020-12-29T12:12:37Z)
• Heterogeneous Graph Transformer [49.675064816860505]
  Webスケールの不均一グラフモデリングのための不均一グラフ変換器(HGT)アーキテクチャ 動的ヘテロジニアスグラフを扱うために、HGTに相対時間符号化手法を導入する。 Web スケールのグラフデータを扱うため,ヘテロジニアスなミニバッチグラフサンプリングアルゴリズム--HGSampling--を設計し,効率的かつスケーラブルなトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-03T04:49:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。