論文の概要: NAG: A Unified Native Architecture for Encoder-free Text-Graph Modeling in Language Models

• arxiv url: http://arxiv.org/abs/2601.22657v1
• Date: Fri, 30 Jan 2026 07:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.294995
• Title: NAG: A Unified Native Architecture for Encoder-free Text-Graph Modeling in Language Models
• Title（参考訳）: NAG:言語モデルにおけるエンコーダフリーテキストグラフモデリングのための統一ネイティブアーキテクチャ
• Authors: Haisong Gong, Zhibo Liu, Qiang Liu, Shu Wu, Liang Wang,
• Abstract要約: このアプローチはテキストグラフに最適である,と我々は主張する。 NAG(Native Architecture for Graphs)は、言語モデル内でグラフ処理を内部化する統合フレームワークである。 NAGは外部エンコーダのオーバーヘッドなしに堅牢なグラフ理解を実現する。
• 参考スコア（独自算出の注目度）: 33.49410203951687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prevailing methods for integrating graphs into Language Models (LMs) typically rely on a segregated architecture: external Graph Neural Networks (GNNs) encode structural topology, while LMs process textual semantics. We argue this approach is suboptimal for text-graphs: it creates a conceptually disjointed interaction paradigm. By segregating structural encoding from semantic processing, these systems must perform a complex implicit alignment between abstract graph tokens and concrete textual elements. Challenging the necessity of external encoders, we propose NAG (Native Architecture for Graphs), a unified framework that internalizes graph processing within the LM's native manifold. Instead of bridging disparate embedding spaces, NAG repurposes the self-attention mechanism to enforce topological dependencies and recalibrates positional IDs to ensure structural equivalence. This allows the model to harness its intrinsic linguistic capability to simultaneously comprehend node and edge content alongside structural topology. We introduce two efficient implementations: NAG-Zero for absolute preservation of the base model's linguistic capabilities, and NAG-LoRA for enhanced structural adaptation. Experiments across diverse graph tasks validate that NAG achieves robust graph comprehension without the overhead of external encoders, offering a simpler, more coherent paradigm for text-graph modeling.
• Abstract（参考訳）: グラフを言語モデル(LM)に統合するための一般的な手法は、通常、分離されたアーキテクチャに依存している: 外部グラフニューラルネットワーク(GNN)は構造トポロジをエンコードし、LMはテキストセマンティクスを処理する。 このアプローチはテキストグラフに最適であり、概念的に不整合な相互作用パラダイムを生み出す。 意味処理から構造的エンコーディングを分離することにより、これらのシステムは抽象グラフトークンと具体的なテキスト要素の間の複雑な暗黙的なアライメントを実行する必要がある。 外部エンコーダの必要性に応じて,LMのネイティブ多様体内でグラフ処理を内部化する統一フレームワークであるNAG(Native Architecture for Graphs)を提案する。 異なる埋め込み空間をブリッジする代わりに、NAGは、トポロジカルな依存関係を強制し、位置IDを再調整して構造的等価性を確保する自己認識機構を再利用する。 これにより、本質的な言語能力を利用して、構造的トポロジーとともに、ノードとエッジの内容の同時理解が可能になる。 本稿では,基本モデルの言語能力を絶対的に保存するためのNAG-Zeroと,構造適応の強化のためのNAG-LoRAの2つの効率的な実装を紹介する。 多様なグラフタスクに対する実験により、NAGは外部エンコーダのオーバーヘッドなしに堅牢なグラフ理解を実現し、テキストグラフモデリングのよりシンプルで一貫性のあるパラダイムを提供する。

関連論文リスト

• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• Integrating Structural and Semantic Signals in Text-Attributed Graphs with BiGTex [0.0]
  BiGTexは、スタック化されたGraph-Text Fusion Unitを通じてGNNとLLMを密に統合する新しいアーキテクチャである。 BiGTexはノード分類における最先端性能を実現し、リンク予測に効果的に一般化する。
  論文  参考訳（メタデータ） (2025-04-16T20:25:11Z)
• GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
  論文  参考訳（メタデータ） (2024-12-08T05:49:58Z)
• From Anchors to Answers: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [27.353083085394008]
  グラフ表現のためのアンカーベース位置符号化方式を備えた新しいフレームワークNT-LLMを提案する。 提案手法では,アンカーとして参照ノードを戦略的に選択し,各ノードの位置をアンカーに対してエンコードし,既存の手法の計算負担を伴わずに重要なトポロジ情報を取得する。 NT-LLMは、位置符号化事前訓練のためのランク保存目的を実装することにより、基本構造解析から複雑な推論シナリオに至るまで、多種多様なグラフタスクにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-10-14T17:21:57Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
  本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。 我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。