論文の概要: On the Token Collapse Phenomenon in Textual Graph Soft Prompting

• arxiv url: http://arxiv.org/abs/2610.31572v1
• Date: Thu, 22 Oct 2026 17:13:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.492184
• Title: On the Token Collapse Phenomenon in Textual Graph Soft Prompting
• Title（参考訳）: テキストグラフソフトプロンプトにおけるトークン崩壊現象について
• Abstract要約: グラフニューラルネットワーク(GNN)は、テキストプロンプトでエンティティ間の情報をキャプチャするグラフ固有のトークンを学習する。 G-Retrieverは、グラフソフトプロンプトと同じグラフの言語化された記述を組み合わせることで、テキストプロンプト信号を強化する。 我々はG-Retrieverの詳細な分析を行い、トークン崩壊と呼ばれる病理学的挙動を明らかにする。
• 参考スコア（独自算出の注目度）: 32.55668143533487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent methods for injecting graph structure into LLM prompts include graph soft prompting, in which a graph neural network (GNN) learns graph-specific tokens that capture relational information among entities in textual prompts. G-Retriever combines graph soft prompts with a verbalized description of the same graph to strengthen the textual prompt signal. We conduct an in-depth analysis of G-Retriever and uncover a pathological behavior we term token collapse. Across three benchmarks, three graph encoders, two LLM families, and both frozen and LoRA-adapted models, G-Retriever's graph tokens become almost indistinguishable across inputs. We provide evidence that the same failure is inherited by subsequent methods, even with multi-token pooling. Under the standard setup, swapping a token with the dataset mean, a token from another example, or one derived from a corrupted graph produces no resolved answer-level effect in accuracy. Moreover, a learned constant prompt that never accesses the graph matches or surpasses G-Retriever on all three benchmarks. These findings indicate that, rather than conveying graph content as intended, the collapsed token functions primarily as a generic soft prompt. We also examine conditions linked to this collapse and propose a two-stage procedure that yields non-collapsed tokens while maintaining competitive performance in most cases. However, token variability alone does not prove that the model uses graph information: via interventions and decoding probes, we show that depending on the configuration, a token can reflect the question, an answer prior, or graph-derived content that the LLM may or may not use. Overall, our results offer a practical approach to evaluating graph-token alignment rather than inferring it from task accuracy alone. Code to reproduce our experiments is available at https://github.com/difra100/Token_Collapse_KGQA.
• Abstract（参考訳）: LLMプロンプトにグラフ構造を注入する最近の手法には、グラフソフトプロンプトがあり、グラフニューラルネットワーク(GNN)は、テキストプロンプトでエンティティ間の関係情報をキャプチャするグラフ固有のトークンを学習する。 G-Retrieverは、グラフソフトプロンプトと同じグラフの言語化された記述を組み合わせることで、テキストプロンプト信号を強化する。 我々はG-Retrieverの詳細な分析を行い、トークン崩壊と呼ばれる病理学的挙動を明らかにする。 3つのベンチマーク、3つのグラフエンコーダ、2つのLLMファミリ、凍結およびLoRA適応モデル、G-Retrieverのグラフトークンは入力間でほぼ区別できない。 マルチトークンプールにおいても,同じ障害が後続の手法によって引き継がれることを示す。 標準設定では、トークンをデータセット平均、別の例からのトークン、または、破損したグラフから派生したトークンと交換すると、正確性において解決された回答レベルの影響は生じない。 さらに、グラフに決してアクセスしない学習された定数プロンプトは、3つのベンチマークすべてでG-Retrieverにマッチする。 これらの結果は,グラフ内容を意図通りに伝達するのではなく,主にソフトプロンプトとして機能することが示唆された。 また,この崩壊に関連する条件についても検討し,ほとんどの場合において競合性能を維持しつつ,非崩壊トークンを生成する2段階の手順を提案する。 しかし、トークンの変動性だけは、モデルがグラフ情報を使用することを証明していない:介入や復号プローブを通して、トークンは、設定によって、質問や、LLMが使用できないかもしれない、あるいは使用できないかもしれないグラフ由来のコンテンツを反映できることを示す。 本研究の結果は,タスクの精度のみから推定するのではなく,グラフ間のアライメントを評価するための実践的なアプローチを提供する。 実験を再現するコードはhttps://github.com/difra100/Token_Collapse_KGQA.comで公開されている。

関連論文リスト

• Agentic Graph Token Reasoning [10.837857911869035]
  エージェントグラフトークン推論を導入し,グラフトークン化を推論プロセスの一部として再キャストする。 我々のモデルは、大きなマージンで幅広いベースラインを上回り、ターゲットごとの微調整なしにゼロショットを目に見えない領域に転送することを示す。
  論文  参考訳（メタデータ） (2026-08-01T08:56:26Z)
• When Graph Tokens Sink: A Mechanistic Analysis of Graph Language Models [20.38522061444383]
  我々は,Large Language Models (LLMs) がグラフ処理の振る舞いを通じてグラフ情報をどのように処理するかを分析する。 GLMにおけるグラフトークン内部の正当性は,グラフ情報の利用と等価ではない。
  論文  参考訳（メタデータ） (2026-06-02T14:34:01Z)
• Revisiting Graph-Tokenizing Large Language Models: A Systematic Evaluation of Graph Token Understanding [27.40991434448743]
  Graph-Tokenizing LLM (GTokenLLMs) は複雑なグラフデータをグラフトークンに圧縮し、LLMをクエリするためのプレフィックストークンとして扱う。 本稿では,形式や内容レベルでの命令変換によるグラフの理解を評価するための評価パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-05T08:50:28Z)
• Toward Graph-Tokenizing Large Language Models with Reconstructive Graph Instruction Tuning [17.712367049197212]
  大きな言語モデル(LLM)がグラフをよりよく理解できるように、グラフデータを言語空間と整合させることが課題である。 GTokenLLMは複雑な構造と長いテキストをグラフトークンシーケンスにエンコードし、言語命令のチューニングを通じてテキストトークンと整列する。 最初の成功にもかかわらず、我々の情報理論分析により、既存のGTokenLLMは言語命令からのテキスト管理のみに依存していることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-02T02:26:54Z)
• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph Matching [68.35685422301613]
  そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。 ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。 合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-07T05:14:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。