論文の概要: Is One Token All It Takes? Graph Pooling Tokens for LLM-based GraphQA

• arxiv url: http://arxiv.org/abs/2604.00342v1
• Date: Wed, 01 Apr 2026 00:34:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.773208
• Title: Is One Token All It Takes? Graph Pooling Tokens for LLM-based GraphQA
• Title（参考訳）: LLMベースのグラフQAのためのグラフポーリングトークン
• Authors: Ankit Grover, Lodovico Giaretta, Rémi Bourgerie, Sarunas Girdzijauskas,
• Abstract要約: マルチトークンプーリングにより,グラフ・ツー・LLMインタフェースの帯域幅を拡大する方法を示す。 また,グローバルアテンション機構を用いて,グラフエンコーダのセマンティック品質を向上させる。 分析の結果,GraphQAベンチマークは表現飽和に悩まされていることがわかった。
• 参考スコア（独自算出の注目度）: 1.2239546747355887
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The integration of Graph Neural Networks (GNNs) with Large Language Models (LLMs) has emerged as a promising paradigm for Graph Question Answering (GraphQA). However, effective methods for encoding complex structural information into the LLM's latent space remain an open challenge. Current state-of-the-art architectures, such as G-Retriever, typically rely on standard GNNs and aggressive mean pooling to compress entire graph substructures into a single token, creating a severe information bottleneck. This work mitigates this bottleneck by investigating two orthogonal strategies: (1) increasing the bandwidth of the graph-to-LLM interface via multi-token pooling, and (2) enhancing the semantic quality of the graph encoder via global attention mechanisms. We evaluate a suite of hierarchical pruning and clustering-based pooling operators including Top-k, SAGPool, DiffPool, MinCutPool, and Virtual Node Pooling (VNPool) to project graph data into multiple learnable tokens. Empirically, we demonstrate that while pooling introduces significant instability during soft prompt tuning, the application of Low-Rank Adaptation (LoRA) effectively stabilizes specific hierarchical projections (notably VNPool and pruning methods), though dense clustering operators remain challenging. This stabilization allows compressed representations to rival full-graph baselines (achieving ~73% Hit@1 on WebQSP). Conceptually, we demonstrate that a Graph Transformer with VNPool implementation functions structurally as a single-layer Perceiver IO encoder. Finally, we adapt the FandE (Features and Edges) Score to the generative GraphQA domain. Our analysis reveals that the GraphQA benchmark suffers from representational saturation, where target answers are often highly correlated with isolated node features. The implementation is available at https://github.com/Agrover112/G-Retriever/tree/all_good/
• Abstract（参考訳）: GNNとLarge Language Models(LLM)の統合は、Graph Question Answering(GraphQA)の有望なパラダイムとして現れました。 しかし、LLMの潜在空間に複雑な構造情報をエンコードする効果的な方法は、未解決の課題である。 G-Retrieverのような現在の最先端アーキテクチャは、通常標準のGNNとアグレッシブ平均プールを使ってグラフのサブ構造全体を単一のトークンに圧縮し、深刻な情報ボトルネックを生み出す。 本研究は,(1)マルチトークンプーリングによるグラフ-LLMインタフェースの帯域幅の増大,(2)グローバルアテンション機構によるグラフエンコーダのセマンティッククオリティの向上という,2つの直交戦略を検証することによって,このボトルネックを緩和する。 我々は、Top-k、SAGPool、DiffPool、MinCutPool、Virtual Node Pooling(VNPool)など、階層的なプーリングとクラスタリングベースのプール演算子群を評価し、グラフデータを複数の学習可能なトークンに投影する。 実験により,スプーリングはソフトプロンプトチューニング中に大きな不安定性をもたらすが,ローランク適応(LoRA)の適用は特定の階層的投影(特にVNPoolおよびプルーニング法)を効果的に安定化させるが,密集クラスタリング演算子は依然として困難である。 この安定化により、圧縮された表現を競合する全グラフベースライン(WebQSPで約73%のhit@1を達成する)にすることができる。 概念的には、VNPoolを実装したグラフ変換器は、単一層Perceiver IOエンコーダとして構造的に機能する。 最後に、FandE(Features and Edges)スコアを生成型GraphQAドメインに適合させる。 分析の結果、GraphQAベンチマークは、ターゲットの回答が孤立ノードの特徴と高い相関関係にあるような、表現飽和に悩まされていることが明らかとなった。 実装はhttps://github.com/Agrover112/G-Retriever/tree/all_good/で公開されている。

関連論文リスト

• Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
  本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。 SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。 SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-01-19T08:10:53Z)
• Enhancing Graph Classification Robustness with Singular Pooling [11.537806919295098]
  グラフニューラルネットワーク(GNN)は,様々なグラフ表現学習タスクにおいて高い性能を達成している。 本稿では, 標準的な平らなプール法の理論解析を行い, 攻撃シナリオやグラフ構造の違いにより, 敵のリスクの上限を導出し, 脆弱性を識別する。 これらの知見に触発されて、我々は、ノード埋め込み行列の優越的な特異ベクトルを利用して頑健なグラフレベル表現を構築する新しいプーリング戦略である textitRobust Singular Pooling (RS-Pool) を提案する。
  論文  参考訳（メタデータ） (2025-10-26T12:07:06Z)
• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• Beyond Message Passing: Neural Graph Pattern Machine [50.78679002846741]
  本稿では,グラフサブストラクチャから直接学習することで,メッセージパッシングをバイパスする新しいフレームワークであるNeural Graph Pattern Machine(GPM)を紹介する。 GPMはタスク関連グラフパターンを効率的に抽出し、エンコードし、優先順位付けする。
  論文  参考訳（メタデータ） (2025-01-30T20:37:47Z)
• Graph Pooling via Ricci Flow [1.1126342180866644]
  グラフプーリング演算子(ORC-Pool)を導入し,Ollivierの離散リッチ曲率とそれに付随する幾何流によるグラフの幾何学的特徴付けを利用する。 ORC-Poolはそのようなクラスタリングアプローチを属性付きグラフに拡張し、幾何学的粗大化をプール層としてグラフニューラルネットワークに統合する。
  論文  参考訳（メタデータ） (2024-07-05T03:26:37Z)
• SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
  グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。 本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。 また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
  論文  参考訳（メタデータ） (2024-04-21T13:11:59Z)
• Multi-Granularity Graph Pooling for Video-based Person Re-Identification [14.943835935921296]
  ビデオサンプルの時間的特徴と空間的特徴を集約するためにグラフニューラルネットワーク(GNN)が導入された。 STGCNのような既存のグラフベースのモデルは、グラフ表現を得るためにノード機能でtextitmean/textitmaxプールを実行する。 ビデオ検索のための多粒度グラフ表現を学習するためのグラフプーリングネットワーク(GPNet)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T13:26:05Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Higher-order Clustering and Pooling for Graph Neural Networks [77.47617360812023]
  グラフニューラルネットワークは、多数のグラフ分類タスクにおいて最先端のパフォーマンスを達成する。 HoscPoolはクラスタリングベースのグラフプーリング演算子で、階層的に高階情報をキャプチャする。 グラフ分類タスクにおいてHoscPoolを評価し,そのクラスタリングコンポーネントを地層構造を持つグラフ上で評価する。
  論文  参考訳（メタデータ） (2022-09-02T09:17:10Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。