論文の概要: Teaching LLMs to See Graphs: Unifying Text and Structural Reasoning

• arxiv url: http://arxiv.org/abs/2605.10247v1
• Date: Mon, 11 May 2026 09:19:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.68531
• Title: Teaching LLMs to See Graphs: Unifying Text and Structural Reasoning
• Title（参考訳）: LLMにグラフを教える: テキストと構造的推論を統一する
• Authors: Dario Vajda,
• Abstract要約: 本稿では,事前学習によるグラフトポロジ処理を可能にする新しいアーキテクチャであるグラフトランスフォーマー言語モデル(GTLM)を紹介する。 GTLMは例外的にパラメータ効率が高く、LLMのアテンションモジュールに直接グラフ認識のアテンションバイアスを注入する。 我々は,GTLMのアテンションヘッドが暗黙的にメッセージパッシングをシミュレートし,アルゴリズム上の優れた性能を説明することを実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using Large Language Models (LLMs) to process graph-structured data is an active research area, yet current state-of-the-art approaches typically rely on multi-step pipelines with Graph Neural Network (GNN) encoders that compress rich textual attributes into solitary tokens, creating a significant semantic bottleneck. In this paper, we introduce the Graph Transformer Language Model (GTLM), a novel architecture that enables pretrained LLMs to natively process graph topologies while entirely eliminating this compressive bottleneck. GTLM is exceptionally parameter-efficient: by injecting graph-aware attention biases directly into the LLM's attention modules, it introduces only 0.015% additional parameters relative to the base model. We theoretically prove that our bidirectional attention prefix preserves node permutation equivariance while maintaining exact backward compatibility with the pretrained base model. Extensive evaluations demonstrate that a 1B-parameter GTLM matches or exceeds the performance of 7B-parameter state-of-the-art models on standard Text-Attributed Graph benchmarks, while significantly surpassing baselines on GraphQA. Finally, we demonstrate that GTLM attention heads implicitly learn to simulate message passing, explaining its superior performance on algorithmic tasks. This paradigm shift enables true algorithmic reasoning within LLMs and provides a scalable foundation for next-generation GraphRAG and relational deep learning.
• Abstract（参考訳）: グラフ構造化データを処理するためにLarge Language Models(LLMs)を使用することは活発な研究分野であるが、現在の最先端のアプローチは一般的に、リッチなテキスト属性を単独のトークンに圧縮するグラフニューラルネットワーク(GNN)エンコーダによるマルチステップパイプラインに依存しており、重要なセマンティックボトルネックを生み出している。 本稿では,グラフ変換言語モデル(GTLM)を提案する。これは,事前学習されたLLMが,この圧縮的ボトルネックを完全に排除しつつ,グラフトポロジをネイティブに処理できる新しいアーキテクチャである。 GTLMは例外的にパラメータ効率が良く、LLMのアテンションモジュールに直接グラフ対応のアテンションバイアスを注入することで、ベースモデルに対して0.015%追加パラメータを導入する。 理論的には、我々の双方向注意接頭辞は、事前訓練されたベースモデルとの正確な後方互換性を維持しつつ、ノード置換の等価性を保っていることを証明している。 1BパラメータGTLMが標準テキスト分散グラフベンチマークの7Bパラメータ状態モデルの性能と一致しているか、あるいは上回ったかを示し、GraphQAのベースラインをはるかに上回っている。 最後に、GTLMのアテンションヘッドが暗黙的にメッセージパッシングをシミュレートし、アルゴリズム上の優れた性能を説明する。 このパラダイムシフトは、LLM内の真のアルゴリズム推論を可能にし、次世代のGraphRAGとリレーショナルディープラーニングのためのスケーラブルな基盤を提供する。

関連論文リスト

• Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
  本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。 SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。 SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-01-19T08:10:53Z)
• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
  提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。 本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。 本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T06:08:21Z)
• Beyond Message Passing: Neural Graph Pattern Machine [50.78679002846741]
  本稿では,グラフサブストラクチャから直接学習することで,メッセージパッシングをバイパスする新しいフレームワークであるNeural Graph Pattern Machine(GPM)を紹介する。 GPMはタスク関連グラフパターンを効率的に抽出し、エンコードし、優先順位付けする。
  論文  参考訳（メタデータ） (2025-01-30T20:37:47Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Graph Language Models [18.75364157933661]
  両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。 我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。 関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
  論文  参考訳（メタデータ） (2024-01-13T16:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。