論文の概要: Graph Machine Learning in the Era of Large Language Models (LLMs)

• arxiv url: http://arxiv.org/abs/2404.14928v2
• Date: Tue, 4 Jun 2024 01:31:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 11:37:14.961405
• Title: Graph Machine Learning in the Era of Large Language Models (LLMs)
• Title（参考訳）: 大規模言語モデル(LLM)時代のグラフ機械学習
• Authors: Wenqi Fan, Shijie Wang, Jiani Huang, Zhikai Chen, Yu Song, Wenzhuo Tang, Haitao Mao, Hui Liu, Xiaorui Liu, Dawei Yin, Qing Li,
• Abstract要約: グラフは、ソーシャルネットワーク、知識グラフ、分子発見など、さまざまな領域における複雑な関係を表現する上で重要な役割を果たす。 ディープラーニングの出現に伴い、グラフニューラルネットワーク(GNN)がグラフ機械学習(Graph ML)の基盤として登場した。 近年、LLMは言語タスクにおいて前例のない能力を示し、コンピュータビジョンやレコメンデータシステムなど様々なアプリケーションで広く採用されている。
• 参考スコア（独自算出の注目度）: 44.25731266093967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graphs play an important role in representing complex relationships in various domains like social networks, knowledge graphs, and molecular discovery. With the advent of deep learning, Graph Neural Networks (GNNs) have emerged as a cornerstone in Graph Machine Learning (Graph ML), facilitating the representation and processing of graph structures. Recently, LLMs have demonstrated unprecedented capabilities in language tasks and are widely adopted in a variety of applications such as computer vision and recommender systems. This remarkable success has also attracted interest in applying LLMs to the graph domain. Increasing efforts have been made to explore the potential of LLMs in advancing Graph ML's generalization, transferability, and few-shot learning ability. Meanwhile, graphs, especially knowledge graphs, are rich in reliable factual knowledge, which can be utilized to enhance the reasoning capabilities of LLMs and potentially alleviate their limitations such as hallucinations and the lack of explainability. Given the rapid progress of this research direction, a systematic review summarizing the latest advancements for Graph ML in the era of LLMs is necessary to provide an in-depth understanding to researchers and practitioners. Therefore, in this survey, we first review the recent developments in Graph ML. We then explore how LLMs can be utilized to enhance the quality of graph features, alleviate the reliance on labeled data, and address challenges such as graph heterogeneity and out-of-distribution (OOD) generalization. Afterward, we delve into how graphs can enhance LLMs, highlighting their abilities to enhance LLM pre-training and inference. Furthermore, we investigate various applications and discuss the potential future directions in this promising field.
• Abstract（参考訳）: グラフは、ソーシャルネットワーク、知識グラフ、分子発見など、さまざまな領域における複雑な関係を表現する上で重要な役割を果たす。 ディープラーニングの出現に伴い、グラフニューラルネットワーク(GNN)はグラフ機械学習(Graph ML)の基盤として現れ、グラフ構造の表現と処理を容易にする。 近年、LLMは言語タスクにおいて前例のない能力を示し、コンピュータビジョンやレコメンデータシステムなど様々なアプリケーションで広く採用されている。 この顕著な成功は、グラフ領域にLSMを適用することにも興味を惹き付けている。 グラフMLの一般化、転送可能性、少数ショット学習能力の進歩において、LLMの可能性を探求する努力が増加している。 一方、グラフ、特に知識グラフは信頼性のある事実知識に富んでいるため、LCMの推論能力を高め、幻覚や説明可能性の欠如といった制限を緩和することができる。 この研究方向性の急速な進展を踏まえ、研究者や実践者に深い理解を提供するためには、LLM時代のグラフMLの最新の進歩を要約した体系的なレビューが必要である。 そこで本研究では,Graph MLの最近の開発状況について概説する。 次に,LLMを用いてグラフの特徴の質を高め,ラベル付きデータへの依存を緩和し,グラフの不均一性やアウト・オブ・ディストリビューション(OOD)の一般化といった課題に対処する方法について検討する。 その後、グラフがLLMを強化し、LLMの事前学習と推論を強化する能力を強調した。 さらに,様々な応用について検討し,将来の可能性について検討する。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• A Survey of Large Language Models for Graphs [21.54279919476072]
  我々は、グラフ学習に適用された最新の最先端の大規模言語モデルについて、詳細なレビューを行う。 フレームワーク設計に基づいて既存の手法を分類する新しい分類法を提案する。 各フレームワークの長所と短所について検討し,今後の研究への可能性を強調する。
  論文  参考訳（メタデータ） (2024-05-10T18:05:37Z)
• A Survey of Large Language Models on Generative Graph Analytics: Query, Learning, and Applications [4.777453721753589]
  大規模言語モデル(LLM)は、様々なNLPおよびマルチモードタスクを扱う強力な一般化能力を示した。 グラフ学習モデルと比較して、LLMはグラフタスクの一般化の課題に対処する上で、優れたアドバンテージを持っている。 LLM-based generative graph analysis (LLM-GGA) の重要な問題点を3つのカテゴリで検討した。
  論文  参考訳（メタデータ） (2024-04-23T07:39:24Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• Can we Soft Prompt LLMs for Graph Learning Tasks? [22.286189757942054]
  GraphPrompterは、グラフ情報とLLM(Large Language Models)をソフトプロンプトで整合させるように設計されたフレームワークである。 このフレームワークは、グラフ関連タスクの予測子としてLLMの実質的な機能を明らかにしている。
  論文  参考訳（メタデータ） (2024-02-15T23:09:42Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT [10.879701971582502]
  我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。 最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-10T05:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。