論文の概要: GraphICL: Unlocking Graph Learning Potential in LLMs through Structured Prompt Design

• arxiv url: http://arxiv.org/abs/2501.15755v1
• Date: Mon, 27 Jan 2025 03:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:55:21.829017
• Title: GraphICL: Unlocking Graph Learning Potential in LLMs through Structured Prompt Design
• Title（参考訳）: GraphICL:構造化プロンプト設計によるLLMにおけるグラフ学習の可能性の解錠
• Authors: Yuanfu Sun, Zhengnan Ma, Yi Fang, Jing Ma, Qiaoyu Tan,
• Abstract要約: Graph In-Context Learning (GraphICL)ベンチマークは、グラフ構造をキャプチャし、限られたラベル知識を扱う新しいプロンプトテンプレートからなる包括的なベンチマークである。 システム評価の結果,GraphICLを用いた汎用LLMは,最先端の特殊グラフLLMやグラフニューラルネットワークモデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 13.365623514253926
• License:
• Abstract: The growing importance of textual and relational systems has driven interest in enhancing large language models (LLMs) for graph-structured data, particularly Text-Attributed Graphs (TAGs), where samples are represented by textual descriptions interconnected by edges. While research has largely focused on developing specialized graph LLMs through task-specific instruction tuning, a comprehensive benchmark for evaluating LLMs solely through prompt design remains surprisingly absent. Without such a carefully crafted evaluation benchmark, most if not all, tailored graph LLMs are compared against general LLMs using simplistic queries (e.g., zero-shot reasoning with LLaMA), which can potentially camouflage many advantages as well as unexpected predicaments of them. To achieve more general evaluations and unveil the true potential of LLMs for graph tasks, we introduce Graph In-context Learning (GraphICL) Benchmark, a comprehensive benchmark comprising novel prompt templates designed to capture graph structure and handle limited label knowledge. Our systematic evaluation shows that general-purpose LLMs equipped with our GraphICL outperform state-of-the-art specialized graph LLMs and graph neural network models in resource-constrained settings and out-of-domain tasks. These findings highlight the significant potential of prompt engineering to enhance LLM performance on graph learning tasks without training and offer a strong baseline for advancing research in graph LLMs.
• Abstract（参考訳）: テキスト・リレーショナル・システムの重要性が高まり、グラフ構造化データ、特にテキスト・アット・グラフ(TAG)に対する大きな言語モデル(LLM)の拡張への関心が高まっている。 タスク固有のインストラクションチューニングによる特殊グラフLLMの開発を中心に研究が行われてきたが、迅速な設計によるLCMの評価のための包括的なベンチマークは驚くほど欠落している。 このような慎重な評価ベンチマークがなければ、LLMは単純なクエリ(例えば、LLaMAによるゼロショット推論)を用いて一般的なLLMと比較される。 グラフ処理におけるLLMの真の可能性を明らかにするために,グラフ構造をキャプチャし,限られたラベル知識を扱うように設計された新しいプロンプトテンプレートからなる総合的なベンチマークであるGraph In-Context Learning (GraphICL)ベンチマークを導入する。 システム評価の結果,GraphICL を用いた汎用 LLM は資源制約された設定やドメイン外タスクにおいて,最先端の特殊グラフ LLM やグラフニューラルネットワークモデルよりも優れていた。 これらの知見は、グラフ学習タスクにおけるLLM性能を訓練せずに向上させ、グラフLLMの研究を進めるための強力なベースラインを提供するために、プロンプトエンジニアリングの有意義な可能性を浮き彫りにした。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Investigating Instruction Tuning Large Language Models on Graphs [37.20541711360419]
  グラフ関連のタスクにLLM(Large Language Models)を適用することへの関心が高まっている。 本研究は,実世界のグラフに係わる命令追従型LLMの能力について考察する。
  論文  参考訳（メタデータ） (2024-08-10T06:54:35Z)
• Can LLM Graph Reasoning Generalize beyond Pattern Memorization? [46.93972334344908]
  我々は,大規模言語モデル (LLM) が,合成学習データにおける意味的,数値的,構造的,推論パターンを超えうるか否かを評価し,実世界のグラフベースタスクにおける有用性を向上させる。 トレーニング後のアライメントが現実世界のタスクに最も有望であるのに対して、LLMグラフの推論をパターンを超えて行うことは、依然としてオープンな研究課題である。
  論文  参考訳（メタデータ） (2024-06-23T02:59:15Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• Can we Soft Prompt LLMs for Graph Learning Tasks? [22.286189757942054]
  GraphPrompterは、グラフ情報とLLM(Large Language Models)をソフトプロンプトで整合させるように設計されたフレームワークである。 このフレームワークは、グラフ関連タスクの予測子としてLLMの実質的な機能を明らかにしている。
  論文  参考訳（メタデータ） (2024-02-15T23:09:42Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
  論文  参考訳（メタデータ） (2023-10-07T23:25:22Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。