論文の概要: Large Language Models on Graphs: A Comprehensive Survey
- arxiv url: http://arxiv.org/abs/2312.02783v2
- Date: Thu, 1 Feb 2024 22:51:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 19:02:48.872634
- Title: Large Language Models on Graphs: A Comprehensive Survey
- Title(参考訳): グラフ上の大規模言語モデル:包括的調査
- Authors: Bowen Jin, Gang Liu, Chi Han, Meng Jiang, Heng Ji, Jiawei Han
- Abstract要約: グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
- 参考スコア(独自算出の注目度): 81.7684686396014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs), such as GPT4 and LLaMA, are creating
significant advancements in natural language processing, due to their strong
text encoding/decoding ability and newly found emergent capability (e.g.,
reasoning). While LLMs are mainly designed to process pure texts, there are
many real-world scenarios where text data is associated with rich structure
information in the form of graphs (e.g., academic networks, and e-commerce
networks) or scenarios where graph data is paired with rich textual information
(e.g., molecules with descriptions). Besides, although LLMs have shown their
pure text-based reasoning ability, it is underexplored whether such ability can
be generalized to graphs (i.e., graph-based reasoning). In this paper, we
provide a systematic review of scenarios and techniques related to large
language models on graphs. We first summarize potential scenarios of adopting
LLMs on graphs into three categories, namely pure graphs, text-attributed
graphs, and text-paired graphs. We then discuss detailed techniques for
utilizing LLMs on graphs, including LLM as Predictor, LLM as Encoder, and LLM
as Aligner, and compare the advantages and disadvantages of different schools
of models. Furthermore, we discuss the real-world applications of such methods
and summarize open-source codes and benchmark datasets. Finally, we conclude
with potential future research directions in this fast-growing field. The
related source can be found at
https://github.com/PeterGriffinJin/Awesome-Language-Model-on-Graphs.
- Abstract(参考訳): GPT4やLLaMAのような大規模言語モデル(LLM)は、強力なテキストエンコーディング/復号化能力と新たに発見された創発的能力(推論など)により、自然言語処理の大幅な進歩を生み出している。
LLMは主に純粋なテキストを処理するように設計されているが、テキストデータがリッチな構造情報(例えば、学術的ネットワークやeコマースネットワーク)や、グラフデータがリッチなテキスト情報(例えば、説明付き分子)とペアリングされるシナリオなど、多くの現実シナリオが存在する。
加えて、llmは純粋なテキストベースの推論能力を示しているが、そのような能力がグラフ(グラフベースの推論)に一般化できるかどうかは未検討である。
本稿では,グラフ上の大規模言語モデルに関連するシナリオと手法の体系的なレビューを行う。
まず,LLMをグラフに適用するシナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
次に, LLM を予測器として, LLM をエンコーダとして, LLM を Aligner として, グラフ上で LLM を利用するための詳細な手法について議論し, 異なるモデル流派の利点と欠点を比較した。
さらに,そのような手法の実世界の応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
最後に、この急速に成長する分野における今後の研究方向性について述べる。
関連するソースはhttps://github.com/PeterGriffinJin/Awesome-Language-on-Graphsにある。
関連論文リスト
- Distilling Large Language Models for Text-Attributed Graph Learning [17.64577949081361]
Text-Attributed Graphs (TAG) は、接続されたテキストドキュメントのグラフである。
グラフモデルはTAGを効率的に学習できるが、トレーニングは人間にアノテートされたラベルに大きく依存している。
大規模言語モデル(LLM)は、最近、少数ショットとゼロショットのTAG学習において顕著な能力を示した。
論文 参考訳(メタデータ) (2024-02-19T10:31:53Z) - LLaGA: Large Language and Graph Assistant [79.09010152231164]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。
LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。
実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文 参考訳(メタデータ) (2024-02-13T02:03:26Z) - Efficient Large Language Models Fine-Tuning On Graphs [23.19795835873144]
Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
本稿では,TAG上でのLarge Language Models (LLMs) のエンドツーエンド微調整のための新しい,効率的なアプローチについて紹介する。
論文 参考訳(メタデータ) (2023-12-07T22:35:16Z) - Which Modality should I use -- Text, Motif, or Image? : Understanding Graphs with Large Language Models [14.251972223585765]
本稿では,テキスト,画像,モチーフなどの多様性を持つグラフを符号化する新たな手法を提案する。
また、グラフ構造解析において、LLM(Large Language Models)を評価するための新しいベンチマークであるGraphTMIも提示されている。
論文 参考訳(メタデータ) (2023-11-16T12:45:41Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳(メタデータ) (2023-10-27T14:00:04Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳(メタデータ) (2023-10-09T07:59:34Z) - Language is All a Graph Needs [33.9836278881785]
InstructGLM (Instruction-finetuned Graph Language Model) を提案する。
我々の手法は、ogbn-arxiv, Cora, PubMedデータセット上のすべてのGNNベースラインを超える。
論文 参考訳(メタデータ) (2023-08-14T13:41:09Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳(メタデータ) (2023-07-07T05:31:31Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。