論文の概要: Are Large Language Models In-Context Graph Learners?

• arxiv url: http://arxiv.org/abs/2502.13562v1
• Date: Wed, 19 Feb 2025 09:14:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:00.431714
• Title: Are Large Language Models In-Context Graph Learners?
• Title（参考訳）: 大規模言語モデルは文脈内グラフ学習者か?
• Authors: Jintang Li, Ruofan Wu, Yuchang Zhu, Huizhe Zhang, Liang Chen, Zibin Zheng,
• Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著なコンテキスト内推論機能を持つ。 しかし、非ユークリッド構造に対する理解の欠如のため、グラフのような構造化データを扱うのに苦労している。 グラフデータの学習は、検索強化生成(RAG)プロセスとして概念化できることを示す。 グラフ学習タスクにおけるLLMの文脈内学習能力を高めるための一連のRAGフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.172657860606297
• License:
• Abstract: Large language models (LLMs) have demonstrated remarkable in-context reasoning capabilities across a wide range of tasks, particularly with unstructured inputs such as language or images. However, LLMs struggle to handle structured data, such as graphs, due to their lack of understanding of non-Euclidean structures. As a result, without additional fine-tuning, their performance significantly lags behind that of graph neural networks (GNNs) in graph learning tasks. In this paper, we show that learning on graph data can be conceptualized as a retrieval-augmented generation (RAG) process, where specific instances (e.g., nodes or edges) act as queries, and the graph itself serves as the retrieved context. Building on this insight, we propose a series of RAG frameworks to enhance the in-context learning capabilities of LLMs for graph learning tasks. Comprehensive evaluations demonstrate that our proposed RAG frameworks significantly improve LLM performance on graph-based tasks, particularly in scenarios where a pretrained LLM must be used without modification or accessed via an API.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスク、特に言語や画像のような非構造化インプットにおいて、コンテキスト内推論能力を示す。 しかし、LLMは非ユークリッド構造に対する理解の欠如のため、グラフのような構造化データを扱うのに苦労している。 その結果、グラフ学習タスクにおけるグラフニューラルネットワーク(GNN)よりもパフォーマンスが大幅に遅れた。 本稿では,グラフデータの学習を検索拡張生成(RAG)プロセスとして概念化し,特定のインスタンス(ノードやエッジなど)がクエリとして機能し,グラフ自体が検索コンテキストとして機能することを示す。 この知見に基づいて、グラフ学習タスクにおけるLLMのコンテキスト内学習能力を高めるための一連のRAGフレームワークを提案する。 包括的評価から,提案するRAGフレームワークはグラフベースのタスクにおいて,特に事前学習したLLMをAPI経由で変更したりアクセスしたりすることなく使用しなければならないシナリオにおいて,LLMのパフォーマンスを著しく向上することが示された。

関連論文リスト

• NT-LLM: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [26.739650151993928]
  グラフは、現実世界のシナリオにおける関係を表現するための基本的なデータ構造である。 グラフ関連のタスクにLLM(Large Language Models)を適用することは、大きな課題となる。 我々は,グラフ構造を効率的にエンコードする新しいフレームワークNT-LLM(Node Tokenizer for Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-10-14T17:21:57Z)
• Let's Ask GNN: Empowering Large Language Model for Graph In-Context Learning [28.660326096652437]
  本稿では,逐次テキスト処理とグラフ構造化データのギャップを埋める新しいアプローチであるAskGNNを紹介する。 AskGNNはグラフニューラルネットワーク(GNN)を利用した構造強化レトリバーを使用して、グラフをまたいだラベル付きノードを選択する。 3つのタスクと7つのLLMにわたる実験は、グラフタスクのパフォーマンスにおいてAskGNNが優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T17:19:12Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
  本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。 我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
  論文  参考訳（メタデータ） (2023-10-07T23:25:22Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking [17.7473474499538]
  ChatGPTのような大規模言語モデルは、人工知能にとって欠かせないものとなっている。 本研究では,グラフデータの解釈において,LLMの精度を評価するための調査を行う。 この知見は,言語モデルとグラフ理解のギャップを埋めるための貴重な洞察に寄与する。
  論文  参考訳（メタデータ） (2023-05-24T11:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。