論文の概要: Large Language Models on Graphs: A Comprehensive Survey

• arxiv url: http://arxiv.org/abs/2312.02783v1
• Date: Tue, 5 Dec 2023 14:14:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 15:34:17.860838
• Title: Large Language Models on Graphs: A Comprehensive Survey
• Title（参考訳）: グラフ上の大規模言語モデル:包括的調査
• Authors: Bowen Jin, Gang Liu, Chi Han, Meng Jiang, Heng Ji, Jiawei Han
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理の大幅な進歩を生み出している。 本稿では,グラフ上の大規模言語モデルに関連するシナリオと手法を体系的にレビューする。
• 参考スコア（独自算出の注目度）: 81.7684686396014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs), such as ChatGPT and LLaMA, are creating significant advancements in natural language processing, due to their strong text encoding/decoding ability and newly found emergent capability (e.g., reasoning). While LLMs are mainly designed to process pure texts, there are many real-world scenarios where text data are associated with rich structure information in the form of graphs (e.g., academic networks, and e-commerce networks) or scenarios where graph data are paired with rich textual information (e.g., molecules with descriptions). Besides, although LLMs have shown their pure text-based reasoning ability, it is underexplored whether such ability can be generalized to graph scenarios (i.e., graph-based reasoning). In this paper, we provide a systematic review of scenarios and techniques related to large language models on graphs. We first summarize potential scenarios of adopting LLMs on graphs into three categories, namely pure graphs, text-rich graphs, and text-paired graphs. We then discuss detailed techniques for utilizing LLMs on graphs, including LLM as Predictor, LLM as Encoder, and LLM as Aligner, and compare the advantages and disadvantages of different schools of models. Furthermore, we mention the real-world applications of such methods and summarize open-source codes and benchmark datasets. Finally, we conclude with potential future research directions in this fast-growing field. The related source can be found at https://github.com/PeterGriffinJin/Awesome-Language-Model-on-Graphs.
• Abstract（参考訳）: ChatGPTやLLaMAのような大規模言語モデル(LLM)は、強力なテキストエンコーディング/復号化能力と新たに発見された創発的能力(推論など)により、自然言語処理の大幅な進歩を生み出している。 llmは主に純粋なテキストを処理するように設計されているが、テキストデータがグラフ形式でリッチな構造情報(例えば、アカデミックネットワークやeコマースネットワーク)に関連付けられる現実のシナリオや、グラフデータがリッチなテキスト情報(例えば、説明付き分子)と組み合わせられるシナリオが数多く存在する。 さらに、llmは純粋なテキストベースの推論能力を示しているが、そのような能力がグラフシナリオ(グラフベースの推論)に一般化できるかどうかは未検討である。 本稿では,グラフ上の大規模言語モデルに関連するシナリオと手法の体系的なレビューを行う。 まず,LLMをグラフに適用する可能性シナリオを,純粋グラフ,テキストリッチグラフ,テキストペアグラフの3つのカテゴリにまとめる。 次に, LLM を予測器として, LLM をエンコーダとして, LLM を Aligner として, グラフ上で LLM を利用するための詳細な手法について議論し, 異なるモデル流派の利点と欠点を比較した。 さらに,そのような手法の実世界の応用について述べ,オープンソースコードとベンチマークデータセットを要約する。 最後に、この急速に成長する分野における今後の研究方向性について述べる。 関連するソースはhttps://github.com/PeterGriffinJin/Awesome-Language-on-Graphsにある。

関連論文リスト

• GUNDAM: Aligning Large Language Models with Graph Understanding [10.080136100700692]
  textbfGraph textbfUnderstanding for textbfNatural Language textbfDriven textbfAnalytical textbfModel (model)を紹介する。 このモデルは、グラフデータの構造をよりよく理解し、関与するようにLLMを適用し、グラフの構造自体を活用することで複雑な推論タスクを実行できる。
  論文  参考訳（メタデータ） (2024-09-30T07:59:10Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Distilling Large Language Models for Text-Attributed Graph Learning [16.447635770220334]
  Text-Attributed Graphs (TAG) は、接続されたテキストドキュメントのグラフである。 グラフモデルはTAGを効率的に学習できるが、トレーニングは人間にアノテートされたラベルに大きく依存している。 大規模言語モデル(LLM)は、最近、少数ショットとゼロショットのTAG学習において顕著な能力を示した。
  論文  参考訳（メタデータ） (2024-02-19T10:31:53Z)
• Which Modality should I use -- Text, Motif, or Image? : Understanding Graphs with Large Language Models [14.251972223585765]
  本稿では,テキスト,画像,モチーフなどの多様性を持つグラフを符号化する新たな手法を提案する。 また、グラフ構造解析において、LLM(Large Language Models)を評価するための新しいベンチマークであるGraphTMIも提示されている。
  論文  参考訳（メタデータ） (2023-11-16T12:45:41Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Language is All a Graph Needs [33.9836278881785]
  InstructGLM (Instruction-finetuned Graph Language Model) を提案する。 我々の手法は、ogbn-arxiv, Cora, PubMedデータセット上のすべてのGNNベースラインを超える。
  論文  参考訳（メタデータ） (2023-08-14T13:41:09Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。