論文の概要: From Anchors to Answers: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models

• arxiv url: http://arxiv.org/abs/2410.10743v2
• Date: Sun, 31 Aug 2025 07:48:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-03 20:08:26.180854
• Title: From Anchors to Answers: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models
• Title（参考訳）: AnchorsからAnswers: グラフ構造を大規模言語モデルに統合する新しいノードトケナイザ
• Authors: Yanbiao Ji, Chang Liu, Xin Chen, Dan Luo, Mei Li, Yue Ding, Wenqing Lin, Hongtao Lu,
• Abstract要約: グラフ表現のためのアンカーベース位置符号化方式を備えた新しいフレームワークNT-LLMを提案する。 提案手法では,アンカーとして参照ノードを戦略的に選択し,各ノードの位置をアンカーに対してエンコードし,既存の手法の計算負担を伴わずに重要なトポロジ情報を取得する。 NT-LLMは、位置符号化事前訓練のためのランク保存目的を実装することにより、基本構造解析から複雑な推論シナリオに至るまで、多種多様なグラフタスクにまたがる優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 27.353083085394008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enabling large language models (LLMs) to effectively process and reason with graph-structured data remains a significant challenge despite their remarkable success in natural language tasks. Current approaches either convert graph structures into verbose textual descriptions, consuming substantial computational resources, or employ complex graph neural networks as tokenizers, which introduce significant training overhead. To bridge this gap, we present NT-LLM, a novel framework with an anchor-based positional encoding scheme for graph representation. Our approach strategically selects reference nodes as anchors and encodes each node's position relative to these anchors, capturing essential topological information without the computational burden of existing methods. Notably, we identify and address a fundamental issue: the inherent misalignment between discrete hop-based distances in graphs and continuous distances in embedding spaces. By implementing a rank-preserving objective for positional encoding pretraining, NT-LLM achieves superior performance across diverse graph tasks ranging from basic structural analysis to complex reasoning scenarios. Our comprehensive evaluation demonstrates that this lightweight yet powerful approach effectively enhances LLMs' ability to understand and reason with graph-structured information, offering an efficient solution for graph-based applications of language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)を効果的に処理し、グラフ構造化データで推論するために使用することは、自然言語タスクにおいて顕著に成功したにもかかわらず、依然として大きな課題である。 現在のアプローチでは、グラフ構造を冗長なテキスト記述に変換し、相当量の計算リソースを消費するか、複雑なグラフニューラルネットワークをトークン化器として使用することで、トレーニングのオーバーヘッドが大幅に増加する。 このギャップを埋めるために、グラフ表現のためのアンカーベースの位置符号化方式を備えた新しいフレームワークNT-LLMを提案する。 提案手法では,アンカーとして参照ノードを戦略的に選択し,各ノードの位置をアンカーに対してエンコードし,既存の手法の計算負担を伴わずに重要なトポロジ情報を取得する。 特に、グラフにおける離散ホップベース距離と埋め込み空間における連続距離との間の固有の不整合を同定し、対処する。 NT-LLMは、位置符号化事前訓練のためのランク保存目的を実装することにより、基本構造解析から複雑な推論シナリオに至るまで、多種多様なグラフタスクにまたがる優れた性能を実現する。 我々の総合的な評価は、この軽量で強力なアプローチが、グラフ構造化情報によるLLMの理解と推論能力を効果的に向上し、言語モデルのグラフベースアプリケーションに対する効率的なソリューションを提供することを示す。

関連論文リスト

• Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
  提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。 本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。 本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T06:08:21Z)
• LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [54.82915844507371]
  Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。 大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。 本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
  論文  参考訳（メタデータ） (2025-03-05T09:45:22Z)
• Are Large Language Models In-Context Graph Learners? [31.172657860606297]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著なコンテキスト内推論機能を持つ。 しかし、非ユークリッド構造に対する理解の欠如のため、グラフのような構造化データを扱うのに苦労している。 グラフデータの学習は、検索強化生成(RAG)プロセスとして概念化できることを示す。 グラフ学習タスクにおけるLLMの文脈内学習能力を高めるための一連のRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-19T09:14:19Z)
• Graph Learning in the Era of LLMs: A Survey from the Perspective of Data, Models, and Tasks [25.720233631885726]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)の統合は、有望な技術パラダイムとして現れている。 データ品質を根本的に向上させるために、リッチなセマンティックコンテキストを持つグラフ記述テキストを活用します。 この研究は、グラフ学習方法論の進歩を目指す研究者や実践者にとって、基礎的な参考となる。
  論文  参考訳（メタデータ） (2024-12-17T01:41:17Z)
• A Hierarchical Language Model For Interpretable Graph Reasoning [47.460255447561906]
  ノード中心の局所情報と相互作用中心のグローバル構造を捉えるために2ブロックアーキテクチャを用いる階層型グラフ言語モデル(HLM-G)を導入する。 提案手法は,大規模グラフ処理における計算コストを削減しつつ,高い効率性,効率性,ロバスト性で様々なグラフクエリに対処することを可能にする。 多様なグラフ推論およびノード,リンク,グラフレベルの実世界のタスクに対する総合的な評価は,本手法の優位性を強調している。
  論文  参考訳（メタデータ） (2024-10-29T00:28:02Z)
• Let's Ask GNN: Empowering Large Language Model for Graph In-Context Learning [28.660326096652437]
  本稿では,逐次テキスト処理とグラフ構造化データのギャップを埋める新しいアプローチであるAskGNNを紹介する。 AskGNNはグラフニューラルネットワーク(GNN)を利用した構造強化レトリバーを使用して、グラフをまたいだラベル付きノードを選択する。 3つのタスクと7つのLLMにわたる実験は、グラフタスクのパフォーマンスにおいてAskGNNが優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T17:19:12Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Dr.E Bridges Graphs with Large Language Models through Words [12.22063024099311]
  本稿では,LLMグラフアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的な '' を理解可能な自然言語に効果的に翻訳することができる。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• LangTopo: Aligning Language Descriptions of Graphs with Tokenized Topological Modeling [10.907949155931474]
  本稿では,グラフ構造モデリングと自然言語理解をトークンレベルで整合させるLangTopoを紹介する。 複数のデータセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-06-19T06:20:22Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
  論文  参考訳（メタデータ） (2023-10-07T23:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。