論文の概要: Graph Descriptive Order Improves Reasoning with Large Language Model
- arxiv url: http://arxiv.org/abs/2402.07140v3
- Date: Sat, 24 Feb 2024 07:05:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 21:42:50.462867
- Title: Graph Descriptive Order Improves Reasoning with Large Language Model
- Title(参考訳): グラフ記述順序が大規模言語モデルによる推論を改善する
- Authors: Yuyao Ge, Shenghua Liu, Wenjie Feng, Lingrui Mei, Lizhe Chen, Xueqi
Cheng
- Abstract要約: グラフ記述順序がLLMのグラフ推論性能に与える影響を明らかにする。
本稿では,LLMの性能をグラフサイズで評価するためのスケールドグラフ推論ベンチマークを提案する。
LLMのグラフ推論性能はグラフサイズの増加とともに単調に低下しないことがわかった。
- 参考スコア(独自算出の注目度): 40.52189139023898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, large language models have achieved state-of-the-art
performance across multiple domains. However, the progress in the field of
graph reasoning with LLM remains limited. Our work delves into this gap by
thoroughly investigating graph reasoning with LLMs. In this work, we reveal the
impact of the order of graph description on LLMs' graph reasoning performance,
which significantly affects LLMs' reasoning abilities. By altering this order,
we enhance the performance of LLMs from 42.22\% to 70\%. Furthermore, we
introduce the Scaled Graph Reasoning benchmark for assessing LLMs' performance
across various graph sizes and evaluate the relationship between LLMs' graph
reasoning abilities and graph size. We discover that the graph reasoning
performance of LLMs does not monotonically decrease with the increase in graph
size. The experiments span several mainstream models, including GPT-3.5,
LLaMA-2-7B, and LLaMA-2-13B, to offer a comprehensive evaluation.
- Abstract(参考訳): 近年、大規模言語モデルは複数のドメインで最先端のパフォーマンスを実現している。
しかし、LLMによるグラフ推論の分野の進歩は依然として限られている。
LLMによるグラフ推論を徹底的に研究することで、このギャップを埋めることができます。
本研究では,LLMのグラフ推論性能にグラフ記述順序が与える影響を明らかにする。
この順序を変更することにより, LLMの性能を42.22\%から70\%に向上する。
さらに,LLMの性能を様々なグラフサイズで評価するためのスケールドグラフ推論ベンチマークを導入し,LLMのグラフ推論能力とグラフサイズとの関係を評価する。
LLMのグラフ推論性能はグラフサイズの増加とともに単調に低下しないことがわかった。
実験は、GPT-3.5、LLaMA-2-7B、LLaMA-2-13Bを含むいくつかの主流モデルにまたがって、包括的な評価を提供する。
関連論文リスト
- A Survey of Large Language Models on Generative Graph Analytics: Query, Learning, and Applications [4.777453721753589]
大規模言語モデル(LLM)は、様々なNLPおよびマルチモードタスクを扱う強力な一般化能力を示した。
グラフ学習モデルと比較して、LLMはグラフタスクの一般化の課題に対処する上で、優れたアドバンテージを持っている。
LLM-based generative graph analysis (LLM-GGA) の重要な問題点を3つのカテゴリで検討した。
論文 参考訳(メタデータ) (2024-04-23T07:39:24Z) - Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [56.073652738501394]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。
既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。
本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-10T15:41:53Z) - Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。
本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。
評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
論文 参考訳(メタデータ) (2024-03-21T12:37:54Z) - LLaGA: Large Language and Graph Assistant [73.71990472543027]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。
LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。
実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文 参考訳(メタデータ) (2024-02-13T02:03:26Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳(メタデータ) (2023-10-27T14:00:04Z) - GraphLLM: Boosting Graph Reasoning Ability of Large Language Model [7.218768686958888]
GraphLLMは、グラフ学習モデルと大規模言語モデルを統合する、先駆的なエンドツーエンドアプローチである。
4つの基本グラフ推論タスクにおける経験的評価により,GraphLLMの有効性が検証された。
その結果、54.44%の精度が向上し、96.45%の文脈が短縮された。
論文 参考訳(メタデータ) (2023-10-09T16:42:00Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳(メタデータ) (2023-10-09T07:59:34Z) - Beyond Text: A Deep Dive into Large Language Models' Ability on
Understanding Graph Data [13.524529952170672]
大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。
LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。
LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
論文 参考訳(メタデータ) (2023-10-07T23:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。