Fugu-MT 論文翻訳(概要): GraphGPT: Graph Instruction Tuning for Large Language Models

論文の概要: GraphGPT: Graph Instruction Tuning for Large Language Models

arxiv url: http://arxiv.org/abs/2310.13023v3
Date: Tue, 7 May 2024 10:10:14 GMT
ステータス: 処理完了
システム内更新日: 2024-05-08 20:13:36.774130
Title: GraphGPT: Graph Instruction Tuning for Large Language Models
Title（参考訳）: GraphGPT: 大規模言語モデルのためのグラフ命令チューニング
Authors: Jiabin Tang, Yuhao Yang, Wei Wei, Lei Shi, Lixin Su, Suqi Cheng, Dawei Yin, Chao Huang,
Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
参考スコア（独自算出の注目度）: 27.036935149004726
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph Neural Networks (GNNs) have evolved to understand graph structures through recursive exchanges and aggregations among nodes. To enhance robustness, self-supervised learning (SSL) has become a vital tool for data augmentation. Traditional methods often depend on fine-tuning with task-specific labels, limiting their effectiveness when labeled data is scarce. Our research tackles this by advancing graph model generalization in zero-shot learning environments. Inspired by the success of large language models (LLMs), we aim to create a graph-oriented LLM capable of exceptional generalization across various datasets and tasks without relying on downstream graph data. We introduce the GraphGPT framework, which integrates LLMs with graph structural knowledge through graph instruction tuning. This framework includes a text-graph grounding component to link textual and graph structures and a dual-stage instruction tuning approach with a lightweight graph-text alignment projector. These innovations allow LLMs to comprehend complex graph structures and enhance adaptability across diverse datasets and tasks. Our framework demonstrates superior generalization in both supervised and zero-shot graph learning tasks, surpassing existing benchmarks. The open-sourced model implementation of our GraphGPT is available at https://github.com/HKUDS/GraphGPT.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、再帰的な交換とノード間の集約を通じてグラフ構造を理解するために進化してきた。堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。従来の手法は、しばしばタスク固有のラベルによる微調整に依存し、ラベル付きデータが不足している場合の有効性を制限する。本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。大規模言語モデル(LLM)の成功に触発されて、下流グラフデータに頼ることなく、様々なデータセットやタスクをまたいだ例外的な一般化が可能なグラフ指向LLMを作ることを目指している。グラフインストラクションチューニングにより,LLMとグラフ構造知識を統合したGraphGPTフレームワークを提案する。本フレームワークは、テキストとグラフ構造をリンクするテキスト-グラフグラウンドコンポーネントと、軽量なグラフ-テキストアライメントプロジェクタによる2段階の命令チューニングアプローチを含む。これらの革新により、LLMは複雑なグラフ構造を理解し、多様なデータセットやタスクへの適応性を高めることができる。本フレームワークは,教師付きグラフ学習タスクとゼロショットグラフ学習タスクの両方において,既存のベンチマークを上回る優れた一般化を実証する。 GraphGPTのオープンソースモデル実装はhttps://github.com/HKUDS/GraphGPTで公開されています。

関連論文リスト

GraphInsight: Unlocking Insights in Large Language Models for Graph Structure Understanding [17.724492441325165]
大規模言語モデル(LLM)は、グラフ記述シーケンスのプロンプトを通じてグラフィカルな構造情報を理解するのに苦労する。マクロおよびマイクロレベルのグラフィカル情報に対するLLMの理解を改善するための新しいフレームワークであるGraphInsightを提案する。
論文参考訳（メタデータ） (2024-09-05T05:34:16Z)
GraphInstruct: Empowering Large Language Models with Graph Understanding and Reasoning Capability [28.713449421717193]
大規模言語モデル(LLM)のグラフ理解能力の評価と向上を行う。本稿では,21の古典的グラフ推論タスクを含むGraphInstructというベンチマークを提案する。我々は,グラフ理解能力の顕著な向上を示す効率的な命令チューニングにより,GraphLMを構築する。
論文参考訳（メタデータ） (2024-03-07T13:36:08Z)
MuseGraph: Graph-oriented Instruction Tuning of Large Language Models for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。 GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。実験結果から,異なるグラフタスクの大幅な改善が示された。
論文参考訳（メタデータ） (2024-03-02T09:27:32Z)
GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
論文参考訳（メタデータ） (2024-02-23T08:29:42Z)
LLaGA: Large Language and Graph Assistant [73.71990472543027]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文参考訳（メタデータ） (2024-02-13T02:03:26Z)
G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文参考訳（メタデータ） (2024-02-12T13:13:04Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文参考訳（メタデータ） (2022-01-17T11:57:29Z)
Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings [53.58077686470096]
グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
論文参考訳（メタデータ） (2020-06-21T19:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。