論文の概要: When Structure Doesn't Help: LLMs Do Not Read Text-Attributed Graphs as Effectively as We Expected
- arxiv url: http://arxiv.org/abs/2511.16767v1
- Date: Thu, 20 Nov 2025 19:34:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-24 18:08:18.798916
- Title: When Structure Doesn't Help: LLMs Do Not Read Text-Attributed Graphs as Effectively as We Expected
- Title（参考訳）: 構造が役に立たないとき: LLMは予想したほど効果的にテキスト分散グラフを読まない
- Authors: Haotian Xu, Yuning You, Tengfei Ma,
- Abstract要約: 大規模言語モデル(LLM)は、自然言語の理解とクロスモーダル信号の統合に長けている。
最近の研究は、グラフ構造を符号化するための異なる戦略が、テキスト分散グラフ上でのLLMのパフォーマンスにどのように影響するかを考察している。
明示的な構造的前提はしばしば不要であり、場合によっては、強力な言語モデルが関与する場合は非生産的であることを示す。
- 参考スコア（独自算出の注目度）: 10.031229573133709
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graphs provide a unified representation of semantic content and relational structure, making them a natural fit for domains such as molecular modeling, citation networks, and social graphs. Meanwhile, large language models (LLMs) have excelled at understanding natural language and integrating cross-modal signals, sparking interest in their potential for graph reasoning. Recent work has explored this by either designing template-based graph templates or using graph neural networks (GNNs) to encode structural information. In this study, we investigate how different strategies for encoding graph structure affect LLM performance on text-attributed graphs. Surprisingly, our systematic experiments reveal that: (i) LLMs leveraging only node textual descriptions already achieve strong performance across tasks; and (ii) most structural encoding strategies offer marginal or even negative gains. We show that explicit structural priors are often unnecessary and, in some cases, counterproductive when powerful language models are involved. This represents a significant departure from traditional graph learning paradigms and highlights the need to rethink how structure should be represented and utilized in the LLM era. Our study is to systematically challenge the foundational assumption that structure is inherently beneficial for LLM-based graph reasoning, opening the door to new, semantics-driven approaches for graph learning.
- Abstract（参考訳）: グラフは意味的内容と関係構造を統一的に表現し、分子モデリング、引用ネットワーク、ソーシャルグラフといった分野に自然に適合する。
一方、大規模言語モデル(LLM)は、自然言語の理解とクロスモーダル信号の統合に優れており、グラフ推論の可能性への関心を喚起している。
最近の研究は、テンプレートベースのグラフテンプレートを設計するか、あるいはグラフニューラルネットワーク(GNN)を使って構造情報をエンコードすることで、これを探求している。
本研究では,グラフ構造を符号化するための異なる戦略が,テキスト分散グラフ上でのLLM性能に与える影響について検討する。
驚くべきことに、私たちの体系的な実験は、こう明らかにしています。
(i)ノード記述のみを活用するLLMは、タスク間で高いパフォーマンスを実現している。
(II)ほとんどの構造的符号化戦略は、限界あるいは負の利得を提供する。
明示的な構造的前提はしばしば不要であり、場合によっては、強力な言語モデルが関与する場合は非生産的であることを示す。
これは従来のグラフ学習パラダイムとは大きく離れており、LLM時代に構造をどのように表現し活用するかを再考する必要性を強調している。
本研究は,LLMに基づくグラフ推論において構造が本質的に有益であるという基本的な仮定に体系的に挑戦し,グラフ学習における意味論的アプローチへの扉を開くことを目的とする。
関連論文リスト
- GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。
textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
論文 参考訳（メタデータ） (2025-10-06T08:09:15Z) - G-reasoner: Foundation Models for Unified Reasoning over Graph-structured Knowledge [88.82814893945077]
大規模言語モデル(LLM)は複雑な推論において優れているが、静的かつ不完全なパラメトリック知識によって制限される。
最近のグラフ強化RAG (GraphRAG) は、このギャップを補足したグラフを構築し、LLMがそれらを推論できるようにする。
G-reasonerは、様々なグラフ構造化知識を推論するためにグラフと言語基盤モデルを統合した統合フレームワークである。
論文 参考訳（メタデータ） (2025-09-29T04:38:12Z) - Are Large Language Models In-Context Graph Learners? [31.172657860606297]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著なコンテキスト内推論機能を持つ。
しかし、非ユークリッド構造に対する理解の欠如のため、グラフのような構造化データを扱うのに苦労している。
グラフデータの学習は、検索強化生成(RAG)プロセスとして概念化できることを示す。
グラフ学習タスクにおけるLLMの文脈内学習能力を高めるための一連のRAGフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-19T09:14:19Z) - Each Graph is a New Language: Graph Learning with LLMs [9.22463167477865]
textbfGraph-textbfDefined textbfLanguage for textbfLarge textbfLanguage textbfModel (GDL4LLM)を提案する。
GDL4LLMはグラフをグラフ記述の代わりにグラフ言語コーパスに変換し、グラフ構造を適切に理解するために、このコーパス上のLLMを事前訓練する。
論文 参考訳（メタデータ） (2025-01-20T13:20:41Z) - How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。
我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。
私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
論文 参考訳（メタデータ） (2024-10-04T04:48:33Z) - GUNDAM: Aligning Large Language Models with Graph Understanding [10.080136100700692]
textbfGraph textbfUnderstanding for textbfNatural Language textbfDriven textbfAnalytical textbfModel (model)を紹介する。
このモデルは、グラフデータの構造をよりよく理解し、関与するようにLLMを適用し、グラフの構造自体を活用することで複雑な推論タスクを実行できる。
論文 参考訳（メタデータ） (2024-09-30T07:59:10Z) - LangTopo: Aligning Language Descriptions of Graphs with Tokenized Topological Modeling [10.907949155931474]
本稿では,グラフ構造モデリングと自然言語理解をトークンレベルで整合させるLangTopoを紹介する。
複数のデータセットに対して提案手法の有効性を示す。
論文 参考訳（メタデータ） (2024-06-19T06:20:22Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2024-04-28T18:36:59Z) - Graph Language Models [18.75364157933661]
両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。
我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。
関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
論文 参考訳（メタデータ） (2024-01-13T16:09:49Z) - Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳（メタデータ） (2023-12-05T14:14:27Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳（メタデータ） (2023-10-27T14:00:04Z) - Can LLMs Effectively Leverage Graph Structural Information through Prompts, and Why? [18.328637750057037]
大きな言語モデル(LLM)は、リッチテキスト属性でグラフを処理する能力に注目が集まっている。
グラフデータに固有の構造情報の取り込みにより,LLMの予測性能が向上する理由を理解することを目的としている。
論文 参考訳（メタデータ） (2023-09-28T16:58:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。