論文の概要: Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models

• arxiv url: http://arxiv.org/abs/2409.19667v2
• Date: Sat, 19 Oct 2024 12:44:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 21:49:14.377767
• Title: Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models
• Title（参考訳）: 大規模言語モデルは専門家のようなグラフを分析できるか?ベンチマーク、データセット、モデル
• Authors: Xin Li, Weize Chen, Qizhi Chu, Haopeng Li, Zhaojun Sun, Ran Li, Chen Qian, Yiwei Wei, Zhiyuan Liu, Chuan Shi, Maosong Sun, Cheng Yang,
• Abstract要約: グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
• 参考スコア（独自算出の注目度）: 90.98855064914379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The need to analyze graphs is ubiquitous across various fields, from social networks to biological research and recommendation systems. Therefore, enabling the ability of large language models (LLMs) to process graphs is an important step toward more advanced general intelligence. However, current LLM benchmarks on graph analysis require models to directly reason over the prompts describing graph topology, and are thus limited to small graphs with only a few dozens of nodes. In contrast, human experts typically write programs based on popular libraries for task solving, and can thus handle graphs with different scales. To this end, a question naturally arises: can LLMs analyze graphs like professionals? In this paper, we introduce ProGraph, a manually crafted benchmark containing 3 categories of graph tasks. The benchmark expects solutions based on programming instead of directly reasoning over raw inputs. Our findings reveal that the performance of current LLMs is unsatisfactory, with the best model achieving only 36% accuracy. To bridge this gap, we propose LLM4Graph datasets, which include crawled documents and auto-generated codes based on 6 widely used graph libraries. By augmenting closed-source LLMs with document retrieval and fine-tuning open-source ones on the codes, we show 11-32% absolute improvements in their accuracies. Our results underscore that the capabilities of LLMs in handling structured data are still under-explored, and show the effectiveness of LLM4Graph in enhancing LLMs' proficiency of graph analysis. The benchmark, datasets and enhanced open-source models are available at https://github.com/BUPT-GAMMA/ProGraph.
• Abstract（参考訳）: グラフの分析の必要性は、ソーシャルネットワークから生物研究・レコメンデーションシステムまで、さまざまな分野にまたがっている。 したがって、グラフ処理のための大規模言語モデル(LLM)の実現は、より高度な汎用インテリジェンスに向けた重要なステップである。 しかしながら、グラフ解析に関する現在のLLMベンチマークでは、グラフトポロジを記述するプロンプトを直接推論する必要があるため、数十のノードしか持たない小さなグラフに限られる。 対照的に、人間の専門家は通常、タスク解決のための一般的なライブラリに基づいたプログラムを書くため、異なるスケールでグラフを処理できる。 LLMはプロフェッショナルのようなグラフを分析できますか? 本稿では,3種類のグラフタスクを含む手作業によるベンチマークであるProGraphを紹介する。 ベンチマークでは、生の入力を直接推論するのではなく、プログラミングに基づくソリューションが期待されている。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 このギャップを埋めるために,6つの広く使用されているグラフライブラリに基づいたクローリングドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。 文書検索と微調整を施したオープンソースLCMをコード上に拡張することにより,その精度が11～32%向上したことを示す。 以上の結果から,構造化データ処理におけるLLMの能力はいまだ過小評価されており,LLM4Graphがグラフ解析の習熟度を高める上での有効性を示している。 ベンチマーク、データセット、拡張オープンソースモデルはhttps://github.com/BUPT-GAMMA/ProGraphで公開されている。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• GraphArena: Benchmarking Large Language Models on Graph Computational Problems [25.72820021030033]
  LLM(Large Language Models)の"アームレース(arms race)"は、その進捗を調べるために、新しい、挑戦的な、多様なベンチマークを必要とする。 百万規模の実世界のグラフを用いて,グラフ計算問題のモデルを評価するベンチマークツールであるGraphArenaを紹介する。
  論文  参考訳（メタデータ） (2024-06-29T09:19:23Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
  論文  参考訳（メタデータ） (2023-10-07T23:25:22Z)
• Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT [10.879701971582502]
  我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。 最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-10T05:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。