論文の概要: Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via
Prompt Augmented by ChatGPT
- arxiv url: http://arxiv.org/abs/2304.11116v2
- Date: Mon, 24 Apr 2023 17:51:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 20:01:36.078396
- Title: Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via
Prompt Augmented by ChatGPT
- Title（参考訳）: graph-toolformer: chatgpt によるプロンプト拡張による llm のグラフ推論能力強化
- Authors: Jiawei Zhang
- Abstract要約: 我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。
最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 10.879701971582502
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we aim to develop a large language model (LLM) with the
reasoning ability on complex graph data. Currently, LLMs have achieved very
impressive performance on various natural language learning tasks, extensions
of which have also been applied to study the vision tasks with multi-modal
data. However, when it comes to the graph learning tasks, existing LLMs present
very serious flaws due to their several inherited weaknesses in performing
{multi-step logic reasoning}, {precise mathematical calculation} and
{perception about the spatial and temporal factors}.
To address such challenges, in this paper, we will investigate the
principles, methodologies and algorithms to empower existing LLMs with graph
reasoning ability, which will have tremendous impacts on the current research
of both LLMs and graph learning. Inspired by the latest ChatGPT and Toolformer
models, we propose the Graph-ToolFormer (Graph Reasoning oriented Toolformer)
framework to teach LLMs themselves with prompts augmented by ChatGPT to use
external graph reasoning API tools. Specifically, we will investigate to teach
Graph-ToolFormer to handle various graph data reasoning tasks in this paper,
including both (1) very basic graph data loading and graph property reasoning
tasks, ranging from simple graph order and size to the graph diameter and
periphery, and (2) more advanced reasoning tasks on real-world graph data, such
as bibliographic networks, protein molecules, sequential recommender systems,
social networks and knowledge graphs.
To demonstrate the effectiveness of Graph-ToolFormer, we conduct some
preliminary experimental studies on various graph reasoning datasets and tasks,
and will launch a LLM demo online with various graph reasoning abilities.
- Abstract（参考訳）: 本稿では,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(llm)の開発を目指している。
現在、LLMは様々な自然言語学習タスクにおいて非常に優れた性能を発揮しており、その拡張もマルチモーダルデータによる視覚タスクの研究に応用されている。
しかし、グラフ学習のタスクに関しては、既存のLLMは、空間的および時間的要因について、複数の継承された弱点である {multi-step logic reasoning}, {precise mathematical calculation}, {perception about the spatial and temporal factors} を実行するために、非常に深刻な欠陥を呈している。
このような課題に対処するため,本稿では,既存のLCMをグラフ推論能力で強化する原理,方法論,アルゴリズムについて検討する。
最新のChatGPTおよびToolformerモデルにインスパイアされた我々は、Graph-ToolFormer(Graph Reasoning oriented Toolformer)フレームワークを提案する。
具体的には,1)単純なグラフの順序やサイズから,グラフの直径や周辺まで,グラフ特性の推論タスクと,(2)書誌ネットワークやタンパク質分子,シーケンシャルレコメンデータシステム,ソーシャルネットワーク,ナレッジグラフといった,現実的なグラフデータに対するより高度な推論タスクの両方を含む,グラフデータ推論タスクの処理をGraph-ToolFormerに教えることについて検討する。
Graph-ToolFormerの有効性を実証するため、さまざまなグラフ推論データセットとタスクについて予備実験を行い、様々なグラフ推論機能を備えたLLMデモをオンラインで開始する。
関連論文リスト
- Graph Linearization Methods for Reasoning on Graphs with Large Language Models [25.3545522174459]
グラフは、ローカル依存やグローバルアライメントなど、自然言語テキストの特定の特性を反映するように線形化されるべきである。
本稿では,グラフの中央性,縮退性,ノードの可逆性に基づくグラフ線形化手法を提案する。
本研究は,LLMに適した新しいグラフ表現を導入し,マルチモーダル処理のトレンドとグラフ機械学習の潜在的な統合に寄与する。
論文 参考訳（メタデータ） (2024-10-25T11:51:37Z) - How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。
我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。
私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
論文 参考訳（メタデータ） (2024-10-04T04:48:33Z) - Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。
その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。
本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
論文 参考訳（メタデータ） (2024-09-29T11:38:45Z) - Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。
本稿では,課題計画のためのグラフ学習に基づく手法について検討する。
我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
論文 参考訳（メタデータ） (2024-05-29T14:26:24Z) - Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。
既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。
本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-10T15:41:53Z) - GraphInstruct: Empowering Large Language Models with Graph Understanding and Reasoning Capability [28.713449421717193]
大規模言語モデル(LLM)のグラフ理解能力の評価と向上を行う。
本稿では,21の古典的グラフ推論タスクを含むGraphInstructというベンチマークを提案する。
我々は,グラフ理解能力の顕著な向上を示す効率的な命令チューニングにより,GraphLMを構築する。
論文 参考訳（メタデータ） (2024-03-07T13:36:08Z) - Can we Soft Prompt LLMs for Graph Learning Tasks? [22.286189757942054]
GraphPrompterは、グラフ情報とLLM(Large Language Models)をソフトプロンプトで整合させるように設計されたフレームワークである。
このフレームワークは、グラフ関連タスクの予測子としてLLMの実質的な機能を明らかにしている。
論文 参考訳（メタデータ） (2024-02-15T23:09:42Z) - Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳（メタデータ） (2023-12-05T14:14:27Z) - GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。
堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。
本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
論文 参考訳（メタデータ） (2023-10-19T06:17:46Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳（メタデータ） (2023-10-09T07:59:34Z) - Talk like a Graph: Encoding Graphs for Large Language Models [15.652881653332194]
大規模言語モデル(LLM)による消費用テキストとしてグラフ構造化データを符号化する最初の包括的研究について検討する。
グラフ解析におけるLCMの性能は,(1)グラフ符号化法,(2)グラフ処理自体の性質,(3)興味深いことに,考慮されたグラフの構造の3つの基本レベルによって異なることを示す。
論文 参考訳（メタデータ） (2023-10-06T19:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。