論文の概要: Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via
Prompt Augmented by ChatGPT
- arxiv url: http://arxiv.org/abs/2304.11116v3
- Date: Thu, 11 May 2023 06:00:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 17:44:44.770856
- Title: Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via
Prompt Augmented by ChatGPT
- Title(参考訳): graph-toolformer: chatgpt によるプロンプト拡張による llm のグラフ推論能力強化
- Authors: Jiawei Zhang
- Abstract要約: 我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。
最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
- 参考スコア(独自算出の注目度): 10.879701971582502
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we aim to develop a large language model (LLM) with the
reasoning ability on complex graph data. Currently, LLMs have achieved very
impressive performance on various natural language learning tasks, extensions
of which have also been applied to study the vision tasks with multi-modal
data. However, when it comes to the graph learning tasks, existing LLMs present
very serious flaws due to their several inherited weaknesses in performing
{multi-step logic reasoning}, {precise mathematical calculation} and
{perception about the spatial and temporal factors}.
To address such challenges, in this paper, we will investigate the
principles, methodologies and algorithms to empower existing LLMs with graph
reasoning ability, which will have tremendous impacts on the current research
of both LLMs and graph learning. Inspired by the latest ChatGPT and Toolformer
models, we propose the Graph-ToolFormer (Graph Reasoning oriented Toolformer)
framework to teach LLMs themselves with prompts augmented by ChatGPT to use
external graph reasoning API tools. Specifically, we will investigate to teach
Graph-ToolFormer to handle various graph data reasoning tasks in this paper,
including both (1) very basic graph data loading and graph property reasoning
tasks, ranging from simple graph order and size to the graph diameter and
periphery, and (2) more advanced reasoning tasks on real-world graph data, such
as bibliographic networks, protein molecules, sequential recommender systems,
social networks and knowledge graphs.
- Abstract(参考訳): 本稿では,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(llm)の開発を目指している。
現在、LLMは様々な自然言語学習タスクにおいて非常に優れた性能を発揮しており、その拡張もマルチモーダルデータによる視覚タスクの研究に応用されている。
しかし、グラフ学習のタスクに関しては、既存のLLMは、空間的および時間的要因について、複数の継承された弱点である {multi-step logic reasoning}, {precise mathematical calculation}, {perception about the spatial and temporal factors} を実行するために、非常に深刻な欠陥を呈している。
このような課題に対処するため,本稿では,既存のLCMをグラフ推論能力で強化する原理,方法論,アルゴリズムについて検討する。
最新のChatGPTおよびToolformerモデルにインスパイアされた我々は、Graph-ToolFormer(Graph Reasoning oriented Toolformer)フレームワークを提案する。
具体的には,1)単純なグラフの順序やサイズから,グラフの直径や周辺まで,グラフ特性の推論タスクと,(2)書誌ネットワークやタンパク質分子,シーケンシャルレコメンデータシステム,ソーシャルネットワーク,ナレッジグラフといった,現実的なグラフデータに対するより高度な推論タスクの両方を含む,グラフデータ推論タスクの処理をGraph-ToolFormerに教えることについて検討する。
関連論文リスト
- Joint Embeddings for Graph Instruction Tuning [0.0]
本研究は,Large Language Models (LLMs) におけるグラフモダリティの統合について検討する。
グラフの埋め込みによって基礎となるLLMを強化し、それを理解できるように訓練するディープラーニングモデルを作ることを目標としている。
このアプローチは、グラフからテキストへのアプローチよりもはるかに優れており、大きなグラフであっても一貫性が保たれている。
論文 参考訳(メタデータ) (2024-05-31T08:26:47Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。
既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。
本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-10T15:41:53Z) - GraphInstruct: Empowering Large Language Models with Graph Understanding and Reasoning Capability [28.713449421717193]
大規模言語モデル(LLM)のグラフ理解能力の評価と向上を行う。
本稿では,21の古典的グラフ推論タスクを含むGraphInstructというベンチマークを提案する。
我々は,グラフ理解能力の顕著な向上を示す効率的な命令チューニングにより,GraphLMを構築する。
論文 参考訳(メタデータ) (2024-03-07T13:36:08Z) - Can we Soft Prompt LLMs for Graph Learning Tasks? [22.286189757942054]
GraphPrompterは、グラフ情報とLLM(Large Language Models)をソフトプロンプトで整合させるように設計されたフレームワークである。
このフレームワークは、グラフ関連タスクの予測子としてLLMの実質的な機能を明らかにしている。
論文 参考訳(メタデータ) (2024-02-15T23:09:42Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。
G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文 参考訳(メタデータ) (2024-02-12T13:13:04Z) - Large Language Models on Graphs: A Comprehensive Survey [81.7684686396014]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳(メタデータ) (2023-12-05T14:14:27Z) - GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。
堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。
本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
論文 参考訳(メタデータ) (2023-10-19T06:17:46Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳(メタデータ) (2023-10-09T07:59:34Z) - Talk like a Graph: Encoding Graphs for Large Language Models [15.652881653332194]
大規模言語モデル(LLM)による消費用テキストとしてグラフ構造化データを符号化する最初の包括的研究について検討する。
グラフ解析におけるLCMの性能は,(1)グラフ符号化法,(2)グラフ処理自体の性質,(3)興味深いことに,考慮されたグラフの構造の3つの基本レベルによって異なることを示す。
論文 参考訳(メタデータ) (2023-10-06T19:55:21Z) - Can Language Models Solve Graph Problems in Natural Language? [51.28850846990929]
大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。
自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
論文 参考訳(メタデータ) (2023-05-17T08:29:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。