論文の概要: When Graph Tokens Sink: A Mechanistic Analysis of Graph Language Models

• arxiv url: http://arxiv.org/abs/2606.03712v1
• Date: Tue, 02 Jun 2026 14:34:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.069739
• Title: When Graph Tokens Sink: A Mechanistic Analysis of Graph Language Models
• Title（参考訳）: グラフがシンクする: グラフ言語モデルの力学解析
• Authors: Ding Zhang, Runtao Zhou, Wenqing Zheng, Rizal Fathony, Bayan Bruss, Chirag Agarwal,
• Abstract要約: 我々は,Large Language Models (LLMs) がグラフ処理の振る舞いを通じてグラフ情報をどのように処理するかを分析する。 GLMにおけるグラフトークン内部の正当性は,グラフ情報の利用と等価ではない。
• 参考スコア（独自算出の注目度）: 20.38522061444383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Language Models (GLMs) have become a promising direction for adapting Large Language Models (LLMs) to graph learning tasks. By transforming graph topology and node information into graph tokens, GLMs allow LLMs to jointly process structured graph inputs and textual instructions. Yet, it remains unclear how LLMs internally interpret these graph tokens and whether graph tokens act as meaningful carriers of graph structure. In this work, we analyze how LLMs process graph information through graph-token behavior in representative GLM architectures. Findings. We find that the internal saliency of graph tokens in GLMs is not equivalent to graph information utilization. Graph sink tokens consistently emerge as activation-level outliers: they can be identified by massive activation values along a small set of hidden-state dimensions and are biased toward early graph-token positions. However, this activation-level saliency does not imply that these tokens are the main carriers of graph information. Unlike classical attention sinks in language and vision-language models, graph sink tokens do not necessarily attract the largest attention weights from query tokens. Through pruning, repositioning, and swapping interventions, we show that graph sink tokens are not the most important semantic or structural tokens for downstream prediction. Implications. Together, these results suggest that after current GLMs map graph structure into the LLM token space, the resulting graph-token representations do not naturally form a fully usable topology-aware internal representation; instead, they exhibit a decoupling between activation-level saliency and graph-semantic utility. This decoupling points to limitations in existing graph-token construction, placement, and alignment mechanisms.
• Abstract（参考訳）: グラフ言語モデル(GLM)は、グラフ学習タスクに大規模言語モデル(LLM)を適用するための有望な方向となっている。 グラフトポロジとノード情報をグラフトークンに変換することで、GLMは構造化グラフ入力とテキスト命令を共同で処理することができる。 しかし、LLMがこれらのグラフトークンを内部的にどのように解釈し、グラフトークンがグラフ構造の意味のあるキャリアとして機能するかは、まだ不明である。 本研究は,代表的GLMアーキテクチャにおけるグラフツーケン動作を通じて,LLMがグラフ情報をどのように処理するかを解析する。 発見。 GLMにおけるグラフトークン内部の正当性は,グラフ情報の利用と等価ではない。 グラフシンクトークンは、常にアクティベーションレベルの外れ値として現れ、隠れ状態次元の小さなセットに沿って巨大なアクティベーション値によって識別され、初期のグラフトークンの位置に偏っている。 しかし、このアクティベーションレベル・サリエンシは、これらのトークンがグラフ情報の主要キャリアであることを示すものではない。 古典的な言語や視覚言語モデルにおける注意シンクとは異なり、グラフシンクトークンはクエリトークンから最大の注意重みを引き付けるとは限らない。 プルーニング,再配置,介入の交換を通じて,グラフシンクトークンが下流予測にとって最も重要な意味や構造的トークンではないことを示す。 意味。 これらの結果は、現在の GLM のグラフ構造を LLM トークン空間にマップした後で、結果として得られるグラフトークン表現は、自然に完全に使用可能なトポロジ対応の内部表現を形成するのではなく、アクティベーションレベル・サリエンシとグラフセマンティック・ユーティリティの疎結合を示すことを示唆している。 この分離は、既存のグラフトークンの構築、配置、アライメントのメカニズムの制限を示している。

関連論文リスト

• Revisiting Graph-Tokenizing Large Language Models: A Systematic Evaluation of Graph Token Understanding [27.40991434448743]
  Graph-Tokenizing LLM (GTokenLLMs) は複雑なグラフデータをグラフトークンに圧縮し、LLMをクエリするためのプレフィックストークンとして扱う。 本稿では,形式や内容レベルでの命令変換によるグラフの理解を評価するための評価パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-05T08:50:28Z)
• Adaptive Tokenization: On the Hop-Overpriority Problem in Tokenized Graph Learning Models [59.98982735197465]
  トークン学習モデル(TGLM)は、グラフをスケーラブルな処理のために順序付きトークンリストに変換する。 TGLMは手書きのトークンリストに依存しており、さまざまなグラフ学習シナリオへの適応性はまだ未検討である。 本稿では,手書きのトークンリストをTGLMで置き換えるプラグイン・アンド・プレイモジュールであるLearnable Graph Token List(LGTL)を提案する。
  論文  参考訳（メタデータ） (2025-05-19T06:25:33Z)
• LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [87.68057302738457]
  Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。 大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。 本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
  論文  参考訳（メタデータ） (2025-03-05T09:45:22Z)
• Scale-Free Graph-Language Models [44.283149785253286]
  グラフ言語モデル(GLM)は、グラフに基づく半教師付き学習において大きな可能性を示している。 本稿では,グラフ生成とテキスト埋め込みを統一フレームワークに統合した新しいGLMを提案する。
  論文  参考訳（メタデータ） (2025-02-21T03:41:43Z)
• What Do LLMs Need to Understand Graphs: A Survey of Parametric Representation of Graphs [69.48708136448694]
  大規模言語モデル(LLM)は、期待される推論能力と推論能力のために、AIコミュニティで再編成されている。 我々は、グラフのこのようなパラメトリック表現、グラフ法則は、LLMがグラフデータを入力として理解させるソリューションであると信じている。
  論文  参考訳（メタデータ） (2024-10-16T00:01:31Z)
• HIGHT: Hierarchical Graph Tokenization for Molecule-Language Alignment [41.75926736949724]
  大規模言語モデル(LLM)の分子認識を改善するために,原子,モチーフ,分子レベルの情報トークンを符号化したグラフトークン化器を提案する。 実世界の14のベンチマーク実験では、幻覚の40%削減におけるHighTの有効性が検証され、様々な分子言語下流タスクにおいて顕著に改善された。
  論文  参考訳（メタデータ） (2024-06-20T06:37:35Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)
• Graph Language Models [18.75364157933661]
  両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。 我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。 関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
  論文  参考訳（メタデータ） (2024-01-13T16:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。