論文の概要: Revisiting Graph-Tokenizing Large Language Models: A Systematic Evaluation of Graph Token Understanding

• arxiv url: http://arxiv.org/abs/2605.03514v1
• Date: Tue, 05 May 2026 08:50:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.855807
• Title: Revisiting Graph-Tokenizing Large Language Models: A Systematic Evaluation of Graph Token Understanding
• Title（参考訳）: グラフトークン化大規模言語モデルの再検討:グラフトークン理解の体系的評価
• Authors: Zhongjian Zhang, Yue Yu, Mengmei Zhang, Junping Du, Xiao Wang, Chuan Shi,
• Abstract要約: Graph-Tokenizing LLM (GTokenLLMs) は複雑なグラフデータをグラフトークンに圧縮し、LLMをクエリするためのプレフィックストークンとして扱う。 本稿では,形式や内容レベルでの命令変換によるグラフの理解を評価するための評価パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 27.40991434448743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable success of large language models (LLMs) has motivated researchers to adapt them as universal predictors for various graph tasks. As a widely recognized paradigm, Graph-Tokenizing LLMs (GTokenLLMs) compress complex graph data into graph tokens and treat them as prefix tokens for querying LLMs, leading many to believe that LLMs can understand graphs more effectively and efficiently. In this paper, we challenge this belief: \textit{Do GTokenLLMs fully understand graph tokens in the natural-language embedding space?} Motivated by this question, we formalize a unified framework for GTokenLLMs and propose an evaluation pipeline, \textbf{GTEval}, to assess graph-token understanding via instruction transformations at the format and content levels. We conduct extensive experiments on 6 representative GTokenLLMs with GTEval. The primary findings are as follows: (1) Existing GTokenLLMs do not fully understand graph tokens. They exhibit over-sensitivity or over-insensitivity to instruction changes, and rely heavily on text for reasoning; (2) Although graph tokens preserve task-relevant graph information and receive attention across LLM layers, their utilization varies across models and instruction variants; (3) Additional instruction tuning can improve performance on the original and seen instructions, but it does not fully address the challenge of graph-token understanding, calling for further improvement.
• Abstract（参考訳）: 大規模言語モデル(LLM)の顕著な成功は、研究者に様々なグラフタスクの普遍的な予測子として適応させる動機となった。 広く認識されているパラダイムとして、グラフトークン(GTokenLLMs)は複雑なグラフデータをグラフトークンに圧縮し、LLMをクエリする接頭辞トークンとして扱うことで、LLMはグラフをより効率的かつ効率的に理解できると多くの人が信じている。 本稿では、この信念に挑戦する: \textit{Do GTokenLLMsは、自然言語埋め込み空間におけるグラフトークンを完全に理解しているか? ここでは,GTokenLLMの統一フレームワークを形式化し,形式や内容レベルでの指示変換によるグラフの理解を評価するための評価パイプラインである「textbf{GTEval}」を提案する。 GTEvalを用いた6つの代表GTokenLLMについて広範な実験を行った。 1)既存のGTokenLLMはグラフトークンを完全に理解していない。 2)グラフトークンはタスク関連グラフ情報を保存し,LLM層全体に注意を喚起するが,それらの利用はモデルや命令のバリエーションによって異なる。

関連論文リスト

• Toward Graph-Tokenizing Large Language Models with Reconstructive Graph Instruction Tuning [17.712367049197212]
  大きな言語モデル(LLM)がグラフをよりよく理解できるように、グラフデータを言語空間と整合させることが課題である。 GTokenLLMは複雑な構造と長いテキストをグラフトークンシーケンスにエンコードし、言語命令のチューニングを通じてテキストトークンと整列する。 最初の成功にもかかわらず、我々の情報理論分析により、既存のGTokenLLMは言語命令からのテキスト管理のみに依存していることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-02T02:26:54Z)
• Adaptive Tokenization: On the Hop-Overpriority Problem in Tokenized Graph Learning Models [59.98982735197465]
  トークン学習モデル(TGLM)は、グラフをスケーラブルな処理のために順序付きトークンリストに変換する。 TGLMは手書きのトークンリストに依存しており、さまざまなグラフ学習シナリオへの適応性はまだ未検討である。 本稿では,手書きのトークンリストをTGLMで置き換えるプラグイン・アンド・プレイモジュールであるLearnable Graph Token List(LGTL)を提案する。
  論文  参考訳（メタデータ） (2025-05-19T06:25:33Z)
• LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [87.68057302738457]
  Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。 大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。 本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
  論文  参考訳（メタデータ） (2025-03-05T09:45:22Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• GraphInstruct: Empowering Large Language Models with Graph Understanding and Reasoning Capability [47.69392503009922]
  本稿では,21の古典的グラフ推論タスクを包括的に含むGraphInstructというベンチマークを提案する。 GraphInstructをベースとして,グラフ理解能力の顕著さを示す効率的な命令チューニングによるGraphrを開発した。 マルチステップグラフ推論機能を備えたLLMをさらに促進するために,ラベルマスクトレーニング戦略を提案し,Graphr+を構築する。
  論文  参考訳（メタデータ） (2024-03-07T13:36:08Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。