論文の概要: : One LLM Token for Explicit Graph Structural Understanding

• arxiv url: http://arxiv.org/abs/2602.01771v1
• Date: Mon, 02 Feb 2026 07:55:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.993965
• Title: <SOG_k>: One LLM Token for Explicit Graph Structural Understanding
• Title（参考訳）: <SOG_k>:グラフ構造を明示的に理解するための1つのLLMトークン
• Authors: Jingyao Wu, Bin Lu, Zijun Di, Xiaoying Gan, Meng Jin, Luoyi Fu, Xinbing Wang, Chenghu Zhou,
• Abstract要約: 我々は、グラフの構造を統一トークン空間内に完全に表現するために、1つの特別なトークン SOG_k> を組み込むことを提案する。 SOG_k>は、簡潔で正確な方法でLLMに理解、生成、理性を与える。
• 参考スコア（独自算出の注目度）: 57.017902343605364
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models show great potential in unstructured data understanding, but still face significant challenges with graphs due to their structural hallucination. Existing approaches mainly either verbalize graphs into natural language, which leads to excessive token consumption and scattered attention, or transform graphs into trainable continuous embeddings (i.e., soft prompt), but exhibit severe misalignment with original text tokens. To solve this problem, we propose to incorporate one special token <SOG_k> to fully represent the Structure Of Graph within a unified token space, facilitating explicit topology input and structural information sharing. Specifically, we propose a topology-aware structural tokenizer that maps each graph topology into a highly selective single token. Afterwards, we construct a set of hybrid structure Question-Answering corpora to align new structural tokens with existing text tokens. With this approach, <SOG_k> empowers LLMs to understand, generate, and reason in a concise and accurate manner. Extensive experiments on five graph-level benchmarks demonstrate the superiority of our method, achieving a performance improvement of 9.9% to 41.4% compared to the baselines while exhibiting interpretability and consistency. Furthermore, our method provides a flexible extension to node-level tasks, enabling both global and local structural understanding. The codebase is publicly available at https://github.com/Jingyao-Wu/SOG.
• Abstract（参考訳）: 大規模言語モデルは、構造化されていないデータ理解において大きな可能性を秘めているが、その構造的幻覚のため、グラフでは依然として重大な課題に直面している。 既存のアプローチは、グラフを自然言語に動詞化することで、過剰なトークン消費と散在する注意を惹きつけるか、あるいはグラフをトレーニング可能な連続的な埋め込み(ソフトプロンプト)に変換するかのいずれかであるが、元のテキストトークンと深刻なミスアライメントを示す。 この問題を解決するために,一種類の特別なトークン<SOG_k>を導入して,グラフの構造を統一されたトークン空間内に完全に表現し,明示的なトポロジ入力と構造情報共有を容易にすることを提案する。 具体的には、各グラフトポロジを高度に選択的な単一トークンにマッピングするトポロジ対応構造トークン化器を提案する。 その後、新しい構造トークンを既存のテキストトークンと整合させるために、ハイブリッド構造問合せコーパスを構築した。 このアプローチにより、<SOG_k>はLLMに簡潔で正確な方法で理解、生成、理性を与える。 5つのグラフレベルのベンチマークによる大規模な実験により,解析性と整合性を示しながら,ベースラインと比較して9.9%から41.4%の性能向上を実現した。 さらに,本手法はノードレベルのタスクを柔軟に拡張し,大域的および局所的な構造的理解を可能にする。 コードベースはhttps://github.com/Jingyao-Wu/SOGで公開されている。

関連論文リスト

• Tokenization, Fusion and Decoupling: Bridging the Granularity Mismatch Between Large Language Models and Knowledge Graphs [20.946228883628013]
  我々は,効率的な全空間予測を実現するために専用エンティティトークンを使用する新しいフレームワークKGTを提案する。 まず、専用エンティティトークンのレベルで特徴表現を構築するために、特殊トークン化を導入します。 次に、事前学習された構造的特徴とテキスト的特徴を、関係誘導ゲーティング機構を介して統合された埋め込みに融合する。
  論文  参考訳（メタデータ） (2026-02-26T07:20:40Z)
• NAG: A Unified Native Architecture for Encoder-free Text-Graph Modeling in Language Models [33.49410203951687]
  このアプローチはテキストグラフに最適である,と我々は主張する。 NAG(Native Architecture for Graphs)は、言語モデル内でグラフ処理を内部化する統合フレームワークである。 NAGは外部エンコーダのオーバーヘッドなしに堅牢なグラフ理解を実現する。
  論文  参考訳（メタデータ） (2026-01-30T07:22:11Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• Integrating Structural and Semantic Signals in Text-Attributed Graphs with BiGTex [0.0]
  BiGTexは、スタック化されたGraph-Text Fusion Unitを通じてGNNとLLMを密に統合する新しいアーキテクチャである。 BiGTexはノード分類における最先端性能を実現し、リンク予測に効果的に一般化する。
  論文  参考訳（メタデータ） (2025-04-16T20:25:11Z)
• Graph Self-Supervised Learning with Learnable Structural and Positional Encodings [39.20899720477907]
  我々は、$k$-hopメッセージパッシングスキームを統合したGNNフレームワークであるemphGenHopNetを紹介する。 また,学習過程全体を通してトポロジ的情報を組み込んだ構造的および位置対応GSSLフレームワークを提案する。 我々の研究は、類似の局所構造を持つグラフと異なるグローバルトポロジを持つグラフを区別するGSSLの能力を大幅に向上させた。
  論文  参考訳（メタデータ） (2025-02-22T14:10:06Z)
• Each Graph is a New Language: Graph Learning with LLMs [9.22463167477865]
  textbfGraph-textbfDefined textbfLanguage for textbfLarge textbfLanguage textbfModel (GDL4LLM)を提案する。 GDL4LLMはグラフをグラフ記述の代わりにグラフ言語コーパスに変換し、グラフ構造を適切に理解するために、このコーパス上のLLMを事前訓練する。
  論文  参考訳（メタデータ） (2025-01-20T13:20:41Z)
• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• GraphEdit: Large Language Models for Graph Structure Learning [14.16155596597421]
  グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。 既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。 グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
  論文  参考訳（メタデータ） (2024-02-23T08:29:42Z)
• Self-organization Preserved Graph Structure Learning with Principle of Relevant Information [72.83485174169027]
  PRI-GSLは、自己組織化を特定し、隠された構造を明らかにするグラフ構造学習フレームワークである。 PRI-GSLは、フォン・ノイマンエントロピーと量子ジェンセン=シャノンの発散によって定量化された最も関連性が最も低い冗長な情報を含む構造を学ぶ。
  論文  参考訳（メタデータ） (2022-12-30T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。