論文の概要: GraphInstruct: Empowering Large Language Models with Graph Understanding
and Reasoning Capability
- arxiv url: http://arxiv.org/abs/2403.04483v1
- Date: Thu, 7 Mar 2024 13:36:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 13:52:05.131151
- Title: GraphInstruct: Empowering Large Language Models with Graph Understanding
and Reasoning Capability
- Title(参考訳): GraphInstruct: グラフ理解と推論機能を備えた大規模言語モデルの実現
- Authors: Zihan Luo, Xiran Song, Hong Huang, Jianxun Lian, Chenhao Zhang, Jinqi
Jiang, Xing Xie, Hai Jin
- Abstract要約: 大規模言語モデル(LLM)のグラフ理解能力の評価と向上を行う。
本稿では,21の古典的グラフ推論タスクを含むGraphInstructというベンチマークを提案する。
我々は,グラフ理解能力の顕著な向上を示す効率的な命令チューニングにより,GraphLMを構築する。
- 参考スコア(独自算出の注目度): 39.357609062052205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating and enhancing the general capabilities of large language models
(LLMs) has been an important research topic. Graph is a common data structure
in the real world, and understanding graph data is a crucial part for advancing
general intelligence. To evaluate and enhance the graph understanding abilities
of LLMs, in this paper, we propose a benchmark named GraphInstruct, which
comprehensively includes 21 classical graph reasoning tasks, providing diverse
graph generation pipelines and detailed reasoning steps. Based on
GraphInstruct, we further construct GraphLM through efficient
instruction-tuning, which shows prominent graph understanding capability. In
order to enhance the LLM with graph reasoning capability as well, we propose a
step mask training strategy, and construct a model named GraphLM+. As one of
the pioneering efforts to enhance the graph understanding and reasoning
abilities of LLMs, extensive experiments have demonstrated the superiority of
GraphLM and GraphLM+ over other LLMs. We look forward to more researchers
exploring the potential of LLMs in the graph data mining domain through
GraphInstruct. Our code for generating GraphInstruct is released publicly at:
https://github.com/CGCL-codes/GraphInstruct.
- Abstract(参考訳): 大規模言語モデル(llms)の汎用性の評価と拡張は重要な研究テーマである。
グラフは現実世界では一般的なデータ構造であり、グラフデータの理解は汎用インテリジェンスを前進させる重要な要素である。
本稿では, LLMのグラフ理解能力を評価するために, 21の古典的グラフ推論タスクを包括的に含み, 多様なグラフ生成パイプラインと詳細な推論ステップを提供するGraphInstructというベンチマークを提案する。
GraphInstructに基づいて、グラフ理解能力を示す効率的な命令チューニングにより、GraphLMをさらに構築する。
グラフ推論機能を備えたLCMを向上するために,ステップマスクトレーニング戦略を提案し,GraphLM+というモデルを構築した。
LLMのグラフ理解と推論能力を高めるための先駆的な取り組みの1つとして、GraphLMとGraphLM+が他のLLMよりも優れていることを示す広範な実験がある。
GraphInstructを通じてグラフデータマイニング領域におけるLLMの可能性を探究する研究者を楽しみにしています。
GraphInstructを生成するコードは、https://github.com/CGCL-codes/GraphInstructで公開されています。
関連論文リスト
- Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [56.073652738501394]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。
既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。
本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-10T15:41:53Z) - Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。
本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。
評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
論文 参考訳(メタデータ) (2024-03-21T12:37:54Z) - MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。
GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。
実験結果から,異なるグラフタスクの大幅な改善が示された。
論文 参考訳(メタデータ) (2024-03-02T09:27:32Z) - InstructGraph: Boosting Large Language Models via Graph-centric
Instruction Tuning and Preference Alignment [30.136514352238795]
InstructGraphは、グラフ推論と生成の能力を備えた大規模な言語モデルを強化するフレームワークである。
InstructGraph は GPT-4 と LLaMA2 を 13% 以上,LLaMA2 は 38% 以上向上できることを示す。
論文 参考訳(メタデータ) (2024-02-13T20:47:17Z) - LLaGA: Large Language and Graph Assistant [73.71990472543027]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。
LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。
実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文 参考訳(メタデータ) (2024-02-13T02:03:26Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
本手法は,テキスト応答とグラフの関連部分をハイライトする。
論文 参考訳(メタデータ) (2024-02-12T13:13:04Z) - GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。
堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。
本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
論文 参考訳(メタデータ) (2023-10-19T06:17:46Z) - GraphLLM: Boosting Graph Reasoning Ability of Large Language Model [7.218768686958888]
GraphLLMは、グラフ学習モデルと大規模言語モデルを統合する、先駆的なエンドツーエンドアプローチである。
4つの基本グラフ推論タスクにおける経験的評価により,GraphLLMの有効性が検証された。
その結果、54.44%の精度が向上し、96.45%の文脈が短縮された。
論文 参考訳(メタデータ) (2023-10-09T16:42:00Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳(メタデータ) (2023-10-09T07:59:34Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳(メタデータ) (2023-07-07T05:31:31Z) - Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via
Prompt Augmented by ChatGPT [10.879701971582502]
我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。
最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-10T05:25:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。