論文の概要: Can LLMs Effectively Leverage Graph Structural Information: When and Why
- arxiv url: http://arxiv.org/abs/2309.16595v2
- Date: Fri, 29 Sep 2023 20:59:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 10:57:46.880639
- Title: Can LLMs Effectively Leverage Graph Structural Information: When and Why
- Title（参考訳）: LLMはグラフ構造情報を効果的に活用できるのか?
- Authors: Jin Huang, Xingjian Zhang, Qiaozhu Mei, Jiaqi Ma
- Abstract要約: 本稿では,構造化データを用いた大規模言語モデルについて検討する。
構造情報の組み入れがLLMの予測性能を向上できるのはいつ,なぜかを理解することを目的としている。
- 参考スコア（独自算出の注目度）: 20.022720021579048
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies Large Language Models (LLMs) augmented with structured
data--particularly graphs--a crucial data modality that remains underexplored
in the LLM literature. We aim to understand when and why the incorporation of
structural information inherent in graph data can improve the prediction
performance of LLMs on node classification tasks with textual features. To
address the ``when'' question, we examine a variety of prompting methods for
encoding structural information, in settings where textual node features are
either rich or scarce. For the ``why'' questions, we probe into two potential
contributing factors to the LLM performance: data leakage and homophily. Our
exploration of these questions reveals that (i) LLMs can benefit from
structural information, especially when textual node features are scarce; (ii)
there is no substantial evidence indicating that the performance of LLMs is
significantly attributed to data leakage; and (iii) the performance of LLMs on
a target node is strongly positively related to the local homophily ratio of
the node\footnote{Codes and datasets are at:
\url{https://github.com/TRAIS-Lab/LLM-Structured-Data}}.
- Abstract（参考訳）: 本稿では,構造化データ(特にグラフ)によって拡張された大規模言語モデル(llm)について検討する。
我々は,グラフデータに内在する構造情報の導入が,ノード分類タスクにおけるllmの予測性能をテキスト的特徴量で改善できる理由と時期を理解することを目的とする。
when''問題に対処するために、テキストノードの機能が豊富か不足している設定において、構造情報をエンコードするための様々なプロンプト手法について検討する。
という質問に対して、LLMのパフォーマンスに潜在的に寄与する2つの要因、すなわちデータ漏洩とホモフィリーを調査する。
これらの疑問を探究した結果
(i)特にテキストノードの機能に乏しい場合において、llmは構造情報から利益を享受することができる。
(ii)データの漏洩によりllmsの性能が著しく低下していることを示す実質的な証拠は存在せず、
3) 対象ノードにおける LLM のパフォーマンスは node\footnote{Codes の局所的ホモフィリ比と強く相関しており,データセットは以下のとおりである。
関連論文リスト
- How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。
我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。
私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
論文 参考訳（メタデータ） (2024-10-04T04:48:33Z) - GUNDAM: Aligning Large Language Models with Graph Understanding [10.080136100700692]
textbfGraph textbfUnderstanding for textbfNatural Language textbfDriven textbfAnalytical textbfModel (model)を紹介する。
このモデルは、グラフデータの構造をよりよく理解し、関与するようにLLMを適用し、グラフの構造自体を活用することで複雑な推論タスクを実行できる。
論文 参考訳（メタデータ） (2024-09-30T07:59:10Z) - Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
大規模言語モデル(LLM)のグラフ推論能力に着目する。
グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。
この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
論文 参考訳（メタデータ） (2024-08-18T16:26:39Z) - Struct-X: Enhancing Large Language Models Reasoning with Structured Data [38.558614152006975]
構造Xは5つの重要なフェーズを通して動作する:read-model-fill-reflect-reason'
構造化データをグラフ埋め込みを用いて位相空間にエンコードする。
行方不明のエンティティ情報を知識検索モジュールで埋める。
最後のフェーズでは、選択したトークンでトポロジネットワークを構築する。
論文 参考訳（メタデータ） (2024-07-17T13:06:25Z) - Large Language Model with Graph Convolution for Recommendation [21.145230388035277]
テキスト情報は、時々品質の低いものになり、現実世界のアプリケーションにとってその効果を阻害する。
大きな言語モデルにカプセル化された知識と推論機能によって、LCMを活用することが、記述改善の有望な方法として現れます。
本稿では,ユーザ・イテムグラフの高次関係を捉えるために,LLMを抽出するグラフ対応畳み込みLLM法を提案する。
論文 参考訳（メタデータ） (2024-02-14T00:04:33Z) - Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳（メタデータ） (2023-12-05T14:14:27Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳（メタデータ） (2023-10-27T14:00:04Z) - Beyond Text: A Deep Dive into Large Language Models' Ability on
Understanding Graph Data [13.524529952170672]
大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。
LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。
LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
論文 参考訳（メタデータ） (2023-10-07T23:25:22Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳（メタデータ） (2023-07-07T05:31:31Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳（メタデータ） (2023-05-31T03:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。