論文の概要: MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining
- arxiv url: http://arxiv.org/abs/2403.04780v2
- Date: Wed, 13 Mar 2024 15:52:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 17:27:45.507879
- Title: MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining
- Title(参考訳): MuseGraph: 大規模言語モデルのグラフ指向インストラクションチューニング
ジェネリックグラフマイニングのための
- Authors: Yanchao Tan, Hang Lv, Xinyi Huang, Jiawei Zhang, Shiping Wang, Carl
Yang
- Abstract要約: グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。
GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。
実験結果から,異なるグラフタスクの大幅な改善が示された。
- 参考スコア(独自算出の注目度): 41.19687587548107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graphs with abundant attributes are essential in modeling interconnected
entities and improving predictions in various real-world applications.
Traditional Graph Neural Networks (GNNs), which are commonly used for modeling
attributed graphs, need to be re-trained every time when applied to different
graph tasks and datasets. Although the emergence of Large Language Models
(LLMs) has introduced a new paradigm in natural language processing, the
generative potential of LLMs in graph mining remains largely under-explored. To
this end, we propose a novel framework MuseGraph, which seamlessly integrates
the strengths of GNNs and LLMs and facilitates a more effective and generic
approach for graph mining across different tasks and datasets. Specifically, we
first introduce a compact graph description via the proposed adaptive input
generation to encapsulate key information from the graph under the constraints
of language token limitations. Then, we propose a diverse instruction
generation mechanism, which distills the reasoning capabilities from LLMs
(e.g., GPT-4) to create task-specific Chain-of-Thought-based instruction
packages for different graph tasks. Finally, we propose a graph-aware
instruction tuning with a dynamic instruction package allocation strategy
across tasks and datasets, ensuring the effectiveness and generalization of the
training process. Our experimental results demonstrate significant improvements
in different graph tasks, showcasing the potential of our MuseGraph in
enhancing the accuracy of graph-oriented downstream tasks while keeping the
generation powers of LLMs.
- Abstract(参考訳): 豊富な属性を持つグラフは、相互接続されたエンティティをモデル化し、様々な現実世界のアプリケーションにおける予測を改善するのに不可欠である。
属性付きグラフのモデリングに一般的に使用される従来のグラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに再トレーニングされる必要がある。
大規模言語モデル (LLM) の出現は, 自然言語処理における新たなパラダイムを導入しているが, グラフマイニングにおける LLM の生成可能性はほとんど調査されていない。
この目的のために,GNN と LLM の強みをシームレスに統合し,さまざまなタスクやデータセットをまたいだグラフマイニングにおいて,より効果的で汎用的なアプローチを実現する新しいフレームワーク MuseGraph を提案する。
具体的には、まず、言語トークン制限の制約の下で、提案した適応入力生成を通じて、グラフからキー情報をカプセル化するコンパクトなグラフ記述を導入する。
そこで本研究では,LLM(例えば GPT-4) から推論機能を抽出して,タスク固有のChain-of-Thought ベースの命令パッケージを作成する,多種多様な命令生成機構を提案する。
最後に,タスクとデータセットをまたいだ動的命令パッケージアロケーション戦略を用いたグラフ認識型インストラクションチューニングを提案し,トレーニングプロセスの有効性と一般化を保証した。
実験の結果,LLMの生成能力を保ちながら,グラフ指向の下流タスクの精度を向上する上で,MuseGraphの可能性を示す。
関連論文リスト
- GraphInstruct: Empowering Large Language Models with Graph Understanding
and Reasoning Capability [39.357609062052205]
大規模言語モデル(LLM)のグラフ理解能力の評価と向上を行う。
本稿では,21の古典的グラフ推論タスクを含むGraphInstructというベンチマークを提案する。
我々は,グラフ理解能力の顕著な向上を示す効率的な命令チューニングにより,GraphLMを構築する。
論文 参考訳(メタデータ) (2024-03-07T13:36:08Z) - OpenGraph: Towards Open Graph Foundation Models [22.929100194849113]
本研究では,多種多様なグラフデータに存在する複雑なトポロジ的パターンを理解するための一般グラフ基盤モデルを構築した。
本稿では,グラフモデルに統一的なグラフトークン化手法を提案する。
また,グローバルなトポロジ的コンテキスト内のノード依存性を効果的にキャプチャするスケーラブルなグラフ変換器を開発した。
論文 参考訳(メタデータ) (2024-03-02T08:05:03Z) - UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - InstructGraph: Boosting Large Language Models via Graph-centric
Instruction Tuning and Preference Alignment [30.136514352238795]
InstructGraphは、グラフ推論と生成の能力を備えた大規模な言語モデルを強化するフレームワークである。
InstructGraph は GPT-4 と LLaMA2 を 13% 以上,LLaMA2 は 38% 以上向上できることを示す。
論文 参考訳(メタデータ) (2024-02-13T20:47:17Z) - LLaGA: Large Language and Graph Assistant [79.09010152231164]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。
LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。
実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文 参考訳(メタデータ) (2024-02-13T02:03:26Z) - GraphGPT: Graph Instruction Tuning for Large Language Models [28.20142151965313]
本稿では,大規模言語モデルとグラフ構造知識を整合させるGraphGPTフレームワークを提案する。
また,ライトウェイトなグラフテキストアライメントプロジェクタを伴って,2段階の命令チューニングパラダイムを提案する。
本フレームワークは,教師付きおよびゼロショットグラフ学習タスクで評価され,より優れた一般化と最先端のベースラインを実現している。
論文 参考訳(メタデータ) (2023-10-19T06:17:46Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳(メタデータ) (2023-06-20T03:33:22Z) - CogDL: A Comprehensive Library for Graph Deep Learning [55.694091294633054]
研究者や実践者が実験を行い、メソッドを比較し、簡単かつ効率的にアプリケーションを構築することができるグラフ深層学習ライブラリであるCogDLを紹介します。
CogDLでは,様々なグラフタスクに対するGNNモデルのトレーニングと評価のための統一設計を提案し,既存のグラフ学習ライブラリに固有のものである。
我々はCogDLのための効率的なスパース演算子を開発し、効率性のための最も競争力のあるグラフライブラリとなる。
論文 参考訳(メタデータ) (2021-03-01T12:35:16Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。