論文の概要: Investigating Instruction Tuning Large Language Models on Graphs

• arxiv url: http://arxiv.org/abs/2408.05457v1
• Date: Sat, 10 Aug 2024 06:54:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 18:51:22.710590
• Title: Investigating Instruction Tuning Large Language Models on Graphs
• Title（参考訳）: グラフ上での大規模言語モデルチューニングのインストラクションの検討
• Authors: Kerui Zhu, Bo-Wei Huang, Bowen Jin, Yizhu Jiao, Ming Zhong, Kevin Chang, Shou-De Lin, Jiawei Han,
• Abstract要約: グラフ関連のタスクにLLM(Large Language Models)を適用することへの関心が高まっている。 本研究は,実世界のグラフに係わる命令追従型LLMの能力について考察する。
• 参考スコア（独自算出の注目度）: 37.20541711360419
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by the recent advancements of Large Language Models (LLMs) in NLP tasks, there's growing interest in applying LLMs to graph-related tasks. This study delves into the capabilities of instruction-following LLMs for engaging with real-world graphs, aiming to offer empirical insights into how LLMs can effectively interact with graphs and generalize across graph tasks. We begin by constructing a dataset designed for instruction tuning, which comprises a diverse collection of 79 graph-related tasks from academic and e-commerce domains, featuring 44,240 training instances and 18,960 test samples. Utilizing this benchmark, our initial investigation focuses on identifying the optimal graph representation that serves as a conduit for LLMs to understand complex graph structures. Our findings indicate that JSON format for graph representation consistently outperforms natural language and code formats across various LLMs and graph types. Furthermore, we examine the key factors that influence the generalization abilities of instruction-tuned LLMs by evaluating their performance on both in-domain and out-of-domain graph tasks.
• Abstract（参考訳）: NLPタスクにおけるLarge Language Models(LLM)の最近の進歩に触発されて、グラフ関連のタスクにLLMを適用することへの関心が高まっている。 本研究は, LLMがグラフと効果的に相互作用し, グラフタスクをまたいで一般化する方法について, 実証的な知見を提供することを目的として, 実世界のグラフに係わる命令追従 LLM の機能について考察する。 まず、学術・電子商取引分野の79のグラフ関連タスクの多種多様なコレクションと、44,240のトレーニングインスタンスと18,960のテストサンプルからなる、インストラクションチューニング用に設計されたデータセットを構築する。 このベンチマークを利用して、LLMが複雑なグラフ構造を理解するための導管として機能する最適なグラフ表現の同定に焦点をあてる。 この結果から,グラフ表現のためのJSONフォーマットは,様々なLLMやグラフタイプにまたがる自然言語やコードフォーマットを一貫して上回っていることが示唆された。 さらに、ドメイン内およびドメイン外の両方のグラフタスクの性能を評価することにより、命令調整 LLM の一般化能力に影響を与える重要な要因について検討する。

関連論文リスト

• A Hierarchical Language Model For Interpretable Graph Reasoning [47.460255447561906]
  ノード中心の局所情報と相互作用中心のグローバル構造を捉えるために2ブロックアーキテクチャを用いる階層型グラフ言語モデル(HLM-G)を導入する。 提案手法は,大規模グラフ処理における計算コストを削減しつつ,高い効率性,効率性,ロバスト性で様々なグラフクエリに対処することを可能にする。 多様なグラフ推論およびノード,リンク,グラフレベルの実世界のタスクに対する総合的な評価は,本手法の優位性を強調している。
  論文  参考訳（メタデータ） (2024-10-29T00:28:02Z)
• Enhance Graph Alignment for Large Language Models [33.96082485852042]
  グラフへのアプローチは、大規模言語モデルがグラフ情報を処理できることで人気がある。 既存の手法は、自己監督タスクと下流タスクの間に不一致がある。 協調タスクテンプレートの恩恵を受けるために,グラフアライメント大言語モデル(GALLM)を提案する。
  論文  参考訳（メタデータ） (2024-10-15T07:50:34Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• A Survey of Large Language Models on Generative Graph Analytics: Query, Learning, and Applications [4.777453721753589]
  大規模言語モデル(LLM)は、様々なNLPおよびマルチモードタスクを扱う強力な一般化能力を示した。 グラフ学習モデルと比較して、LLMはグラフタスクの一般化の課題に対処する上で、優れたアドバンテージを持っている。 LLM-based generative graph analysis (LLM-GGA) の重要な問題点を3つのカテゴリで検討した。
  論文  参考訳（メタデータ） (2024-04-23T07:39:24Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• Can we Soft Prompt LLMs for Graph Learning Tasks? [22.286189757942054]
  GraphPrompterは、グラフ情報とLLM(Large Language Models)をソフトプロンプトで整合させるように設計されたフレームワークである。 このフレームワークは、グラフ関連タスクの予測子としてLLMの実質的な機能を明らかにしている。
  論文  参考訳（メタデータ） (2024-02-15T23:09:42Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
  論文  参考訳（メタデータ） (2023-10-07T23:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。