論文の概要: How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension

• arxiv url: http://arxiv.org/abs/2410.05298v1
• Date: Fri, 4 Oct 2024 04:48:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 19:37:51.440218
• Title: How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension
• Title（参考訳）: 大規模言語モデルはグラフパターンをどう理解するか : グラフパターン理解のためのベンチマーク
• Authors: Xinnan Dai, Haohao Qu, Yifen Shen, Bohang Zhang, Qihao Wen, Wenqi Fan, Dongsheng Li, Jiliang Tang, Caihua Shan,
• Abstract要約: この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
• 参考スコア（独自算出の注目度）: 53.6373473053431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarking the capabilities and limitations of large language models (LLMs) in graph-related tasks is becoming an increasingly popular and crucial area of research. Recent studies have shown that LLMs exhibit a preliminary ability to understand graph structures and node features. However, the potential of LLMs in graph pattern mining remains largely unexplored. This is a key component in fields such as computational chemistry, biology, and social network analysis. To bridge this gap, this work introduces a comprehensive benchmark to assess LLMs' capabilities in graph pattern tasks. We have developed a benchmark that evaluates whether LLMs can understand graph patterns based on either terminological or topological descriptions. Additionally, our benchmark tests the LLMs' capacity to autonomously discover graph patterns from data. The benchmark encompasses both synthetic and real datasets, and a variety of models, with a total of 11 tasks and 7 models. Our experimental framework is designed for easy expansion to accommodate new models and datasets. Our findings reveal that: (1) LLMs have preliminary abilities to understand graph patterns, with O1-mini outperforming in the majority of tasks; (2) Formatting input data to align with the knowledge acquired during pretraining can enhance performance; (3) The strategies employed by LLMs may differ from those used in conventional algorithms.
• Abstract（参考訳）: グラフ関連タスクにおける大規模言語モデル(LLM)の機能と限界のベンチマークは、ますます人気が高く、重要な研究領域になりつつある。 近年の研究では、LLMはグラフ構造やノードの特徴を理解する予備的な能力を示すことが示されている。 しかし、グラフパターンマイニングにおけるLLMのポテンシャルはほとんど解明されていない。 これは計算化学、生物学、ソーシャルネットワーク分析などの分野において重要な要素である。 このギャップを埋めるために、この研究はグラフパターンタスクにおけるLLMの機能を評価するための包括的なベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 さらに、我々のベンチマークは、データからグラフパターンを自律的に発見するLLMの能力をテストする。 ベンチマークには、合成データセットと実際のデータセットの両方と、合計11のタスクと7のモデルが含まれている。 我々の実験フレームワークは、新しいモデルやデータセットを容易に拡張できるように設計されています。 その結果, (1) LLMはグラフパターンを理解する予備的能力を有し, タスクの大部分においてO1-miniが優れており, 2) 事前学習時に得られる知識と整合する入力データをフォーマッティングすることは, 性能を向上させることができる, 3) LLMが採用する戦略は, 従来のアルゴリズムと異なる可能性があることがわかった。

関連論文リスト

• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Investigating Instruction Tuning Large Language Models on Graphs [37.20541711360419]
  グラフ関連のタスクにLLM(Large Language Models)を適用することへの関心が高まっている。 本研究は,実世界のグラフに係わる命令追従型LLMの能力について考察する。
  論文  参考訳（メタデータ） (2024-08-10T06:54:35Z)
• Can LLM Graph Reasoning Generalize beyond Pattern Memorization? [46.93972334344908]
  我々は,大規模言語モデル (LLM) が,合成学習データにおける意味的,数値的,構造的,推論パターンを超えうるか否かを評価し,実世界のグラフベースタスクにおける有用性を向上させる。 トレーニング後のアライメントが現実世界のタスクに最も有望であるのに対して、LLMグラフの推論をパターンを超えて行うことは、依然としてオープンな研究課題である。
  論文  参考訳（メタデータ） (2024-06-23T02:59:15Z)
• A Survey of Large Language Models on Generative Graph Analytics: Query, Learning, and Applications [4.777453721753589]
  大規模言語モデル(LLM)は、様々なNLPおよびマルチモードタスクを扱う強力な一般化能力を示した。 グラフ学習モデルと比較して、LLMはグラフタスクの一般化の課題に対処する上で、優れたアドバンテージを持っている。 LLM-based generative graph analysis (LLM-GGA) の重要な問題点を3つのカテゴリで検討した。
  論文  参考訳（メタデータ） (2024-04-23T07:39:24Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
  論文  参考訳（メタデータ） (2023-10-07T23:25:22Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。