論文の概要: GraphGPT: Graph Instruction Tuning for Large Language Models
- arxiv url: http://arxiv.org/abs/2310.13023v1
- Date: Thu, 19 Oct 2023 06:17:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 02:06:20.896441
- Title: GraphGPT: Graph Instruction Tuning for Large Language Models
- Title（参考訳）: graphgpt: 大きな言語モデルのためのグラフ命令チューニング
- Authors: Jiabin Tang and Yuhao Yang and Wei Wei and Lei Shi and Lixin Su and
Suqi Cheng and Dawei Yin and Chao Huang
- Abstract要約: 本稿では,大規模言語モデルとグラフ構造知識を整合させるGraphGPTフレームワークを提案する。
また,ライトウェイトなグラフテキストアライメントプロジェクタを伴って,2段階の命令チューニングパラダイムを提案する。
本フレームワークは,教師付きおよびゼロショットグラフ学習タスクで評価され,より優れた一般化と最先端のベースラインを実現している。
- 参考スコア（独自算出の注目度）: 28.20142151965313
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) have advanced graph structure understanding via
recursive information exchange and aggregation among graph nodes. To improve
model robustness, self-supervised learning (SSL) has emerged as a promising
approach for data augmentation. However, existing methods for generating
pre-trained graph embeddings often rely on fine-tuning with specific downstream
task labels, which limits their usability in scenarios where labeled data is
scarce or unavailable. To address this, our research focuses on advancing the
generalization capabilities of graph models in challenging zero-shot learning
scenarios. Inspired by the success of large language models (LLMs), we aim to
develop a graph-oriented LLM that can achieve high generalization across
diverse downstream datasets and tasks, even without any information available
from the downstream graph data. In this work, we present the GraphGPT framework
that aligns LLMs with graph structural knowledge with a graph instruction
tuning paradigm. Our framework incorporates a text-graph grounding component to
establish a connection between textual information and graph structures.
Additionally, we propose a dual-stage instruction tuning paradigm, accompanied
by a lightweight graph-text alignment projector. This paradigm explores
self-supervised graph structural signals and task-specific graph instructions,
to guide LLMs in understanding complex graph structures and improving their
adaptability across different downstream tasks. Our framework is evaluated on
supervised and zero-shot graph learning tasks, demonstrating superior
generalization and outperforming state-of-the-art baselines.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、再帰的な情報交換とグラフノード間の集約を通じてグラフ構造を理解する。
モデルロバスト性を改善するために、データ拡張のための有望なアプローチとして自己教師付き学習(SSL)が登場した。
しかしながら、トレーニング済みのグラフ埋め込みを生成する既存の方法は、特定のダウンストリームタスクラベルによる微調整に依存している場合が多いため、ラベル付きデータが不足したり、利用できない場合のユーザビリティが制限される。
そこで本研究では,ゼロショット学習シナリオに挑戦する上で,グラフモデルの一般化能力の向上に焦点をあてる。
大規模言語モデル(LLM)の成功に触発されて、下流のグラフデータから得られる情報なしに様々な下流のデータセットやタスクをまたいだ高度な一般化を実現するグラフ指向LLMの開発を目指す。
本稿では,LLMとグラフ構造知識をグラフ命令チューニングパラダイムに整合させるGraphGPTフレームワークを提案する。
本フレームワークでは,テキスト情報とグラフ構造との接続を確立するために,テキストグラウンドディングコンポーネントを組み込んでいる。
さらに,ライトウェイトなグラフテキストアライメントプロジェクタを伴って,2段階の命令チューニングパラダイムを提案する。
このパラダイムは、自己教師付きグラフ構造信号とタスク固有のグラフ命令を探索し、複雑なグラフ構造を理解するためのllmをガイドし、異なる下流タスク間の適応性を改善する。
本フレームワークは,教師付きおよびゼロショットグラフ学習タスクで評価され,より優れた一般化と最先端のベースラインを実現する。
関連論文リスト
- GraphInsight: Unlocking Insights in Large Language Models for Graph Structure Understanding [17.724492441325165]
大規模言語モデル(LLM)は、グラフ記述シーケンスのプロンプトを通じてグラフィカルな構造情報を理解するのに苦労する。
マクロおよびマイクロレベルのグラフィカル情報に対するLLMの理解を改善するための新しいフレームワークであるGraphInsightを提案する。
論文 参考訳（メタデータ） (2024-09-05T05:34:16Z) - GraphInstruct: Empowering Large Language Models with Graph Understanding and Reasoning Capability [28.713449421717193]
大規模言語モデル(LLM)のグラフ理解能力の評価と向上を行う。
本稿では,21の古典的グラフ推論タスクを含むGraphInstructというベンチマークを提案する。
我々は,グラフ理解能力の顕著な向上を示す効率的な命令チューニングにより,GraphLMを構築する。
論文 参考訳（メタデータ） (2024-03-07T13:36:08Z) - MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。
GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。
実験結果から,異なるグラフタスクの大幅な改善が示された。
論文 参考訳（メタデータ） (2024-03-02T09:27:32Z) - GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。
既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。
グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
論文 参考訳（メタデータ） (2024-02-23T08:29:42Z) - LLaGA: Large Language and Graph Assistant [73.71990472543027]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。
LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。
実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文 参考訳（メタデータ） (2024-02-13T02:03:26Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。
G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文 参考訳（メタデータ） (2024-02-12T13:13:04Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳（メタデータ） (2022-01-17T11:57:29Z) - Iterative Deep Graph Learning for Graph Neural Networks: Better and
Robust Node Embeddings [53.58077686470096]
グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。
実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
論文 参考訳（メタデータ） (2020-06-21T19:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。