Fugu-MT 論文翻訳(概要): LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models

論文の概要: LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models

arxiv url: http://arxiv.org/abs/2503.03313v1
Date: Wed, 05 Mar 2025 09:45:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-06 15:53:31.120290
Title: LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models
Title（参考訳）: LLM as GNN: テキスト分散グラフ基礎モデルのためのグラフ語彙学習
Authors: Xi Zhu, Haochen Xue, Ziwei Zhao, Wujiang Xu, Jingyuan Huang, Minghao Guo, Qifan Wang, Kaixiong Zhou, Yongfeng Zhang,
Abstract要約: Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
参考スコア（独自算出の注目度）: 54.82915844507371
License:
Abstract: Text-Attributed Graphs (TAGs), where each node is associated with text descriptions, are ubiquitous in real-world scenarios. They typically exhibit distinctive structure and domain-specific knowledge, motivating the development of a Graph Foundation Model (GFM) that generalizes across diverse graphs and tasks. Despite large efforts to integrate Large Language Models (LLMs) and Graph Neural Networks (GNNs) for TAGs, existing approaches suffer from decoupled architectures with two-stage alignment, limiting their synergistic potential. Even worse, existing methods assign out-of-vocabulary (OOV) tokens to graph nodes, leading to graph-specific semantics, token explosion, and incompatibility with task-oriented prompt templates, which hinders cross-graph and cross-task transferability. To address these challenges, we propose PromptGFM, a versatile GFM for TAGs grounded in graph vocabulary learning. PromptGFM comprises two key components: (1) Graph Understanding Module, which explicitly prompts LLMs to replicate the finest GNN workflow within the text space, facilitating seamless GNN-LLM integration and elegant graph-text alignment; (2) Graph Inference Module, which establishes a language-based graph vocabulary ensuring expressiveness, transferability, and scalability, enabling readable instructions for LLM fine-tuning. Extensive experiments demonstrate our superiority and transferability across diverse graphs and tasks. The code is available at this: https://github.com/agiresearch/PromptGFM.
Abstract（参考訳）: テキスト属性グラフ(TAG)は、各ノードがテキスト記述に関連付けられ、現実世界のシナリオでユビキタスである。それらは典型的に独特の構造とドメイン固有の知識を示し、様々なグラフやタスクを一般化するグラフ基礎モデル(GFM)の開発を動機付けている。大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは2段階のアライメントを持つ分離アーキテクチャに悩まされており、相乗的ポテンシャルが制限されている。さらに悪いことに、既存のメソッドは、グラフノードにoo-of-vocabulary(OOV)トークンを割り当て、グラフ固有のセマンティクス、トークンの爆発、タスク指向のプロンプトテンプレートとの互換性を損なう。これらの課題に対処するために,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。 PromptGFMには2つの重要なコンポーネントがある: (1) テキスト空間内で最も優れたGNNワークフローを明示的に複製し、シームレスなGNN-LLM統合とエレガントなグラフテキストアライメントを容易にするグラフ理解モジュール、(2) 表現性、転送性、スケーラビリティを保証する言語ベースのグラフ語彙を確立するグラフ推論モジュール。広範囲にわたる実験は、様々なグラフやタスクにまたがる優越性と伝達可能性を示している。コードは以下で入手できる。 https://github.com/agiresearch/PromptGFM。

関連論文リスト

Can LLMs Convert Graphs to Text-Attributed Graphs? [35.53046810556242]
既存のグラフをテキスト対応グラフに変換するために,Topology-Aware Node description Synthesis (TANS)を提案する。我々はTANSをテキストリッチ,テキスト制限,テキストフリーのグラフで評価し,その適用性を示した。
論文参考訳（メタデータ） (2024-12-13T13:32:59Z)
NT-LLM: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [26.739650151993928]
グラフは、現実世界のシナリオにおける関係を表現するための基本的なデータ構造である。グラフ関連のタスクにLLM(Large Language Models)を適用することは、大きな課題となる。我々は,グラフ構造を効率的にエンコードする新しいフレームワークNT-LLM(Node Tokenizer for Large Language Models)を紹介する。
論文参考訳（メタデータ） (2024-10-14T17:21:57Z)
Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
論文参考訳（メタデータ） (2024-06-19T16:43:56Z)
UniGLM: Training One Unified Language Model for Text-Attributed Graph Embedding [31.464021556351685]
統一グラフ言語モデル(Unified Graph Language Model、UniGLM)は、グラフ埋め込みモデルであり、ドメイン内およびドメイン間TAGの両方によく一般化する。 UniGLMには、構造的に類似したノードを特定するための適応的な正のサンプル選択技術と、トレーニングを加速するために考案された遅延コントラストモジュールが含まれている。
論文参考訳（メタデータ） (2024-06-17T19:45:21Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文参考訳（メタデータ） (2024-04-10T15:41:53Z)
G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文参考訳（メタデータ） (2024-02-12T13:13:04Z)
GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
論文参考訳（メタデータ） (2023-10-19T06:17:46Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。提案手法は、確立されたTAGデータセットの最先端結果を実現する。本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。