論文の概要: GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model

• arxiv url: http://arxiv.org/abs/2412.06849v1
• Date: Sun, 08 Dec 2024 05:49:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:39:40.423257
• Title: GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model
• Title（参考訳）: GL-Fusion: グラフニューラルネットワークと大規模言語モデルの組み合わせを再考する
• Authors: Haotong Yang, Xiyuan Wang, Qian Tao, Shuxian Hu, Zhouchen Lin, Muhan Zhang,
• Abstract要約: グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
• 参考スコア（独自算出の注目度）: 63.774726052837266
• License:
• Abstract: Recent research on integrating Large Language Models (LLMs) with Graph Neural Networks (GNNs) typically follows two approaches: LLM-centered models, which convert graph data into tokens for LLM processing, and GNN-centered models, which use LLMs to encode text features into node and edge representations for GNN input. LLM-centered models often struggle to capture graph structures effectively, while GNN-centered models compress variable-length textual data into fixed-size vectors, limiting their ability to understand complex semantics. Additionally, GNN-centered approaches require converting tasks into a uniform, manually-designed format, restricting them to classification tasks and preventing language output. To address these limitations, we introduce a new architecture that deeply integrates GNN with LLM, featuring three key innovations: (1) Structure-Aware Transformers, which incorporate GNN's message-passing capabilities directly into LLM's transformer layers, allowing simultaneous processing of textual and structural information and generating outputs from both GNN and LLM; (2) Graph-Text Cross-Attention, which processes full, uncompressed text from graph nodes and edges, ensuring complete semantic integration; and (3) GNN-LLM Twin Predictor, enabling LLM's flexible autoregressive generation alongside GNN's scalable one-pass prediction. GL-Fusion achieves outstand performance on various tasks. Notably, it achieves state-of-the-art performance on OGBN-Arxiv and OGBG-Code2.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)とLLM(Large Language Models)の統合に関する最近の研究は、グラフデータをLLM処理用のトークンに変換するLLM中心モデルと、LLMを使用してGNN入力用のノードおよびエッジ表現にテキスト機能をエンコードするGNN中心モデルである。 LLM中心のモデルはグラフ構造を効果的に捉えるのに苦労するが、GNN中心のモデルは可変長のテキストデータを固定サイズのベクトルに圧縮し、複雑な意味論を理解する能力を制限する。 さらに、GNN中心のアプローチでは、タスクを一様で手作業で設計されたフォーマットに変換し、それらを分類タスクに制限し、言語出力を防ぐ必要がある。 これらの制限に対処するために、GNNとLLMを深く統合する新しいアーキテクチャを導入し、(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込んで、テキストと構造情報の同時処理を可能にし、GNNとLLMの両方から出力を生成する構造対応トランスフォーマー、(2)グラフノードとエッジから完全に圧縮されていないテキストを処理するグラフテキストクロスアテンション、(3)GNN-LLM Twin Predictorにより、GNNのスケーラブルなワンパス予測とともに、LNNのフレキシブル自動回帰生成を可能にする構造対応トランスフォーマを導入する。 GL-Fusionは様々なタスクで優れたパフォーマンスを達成する。 特に、OGBN-ArxivとOGBG-Code2で最先端のパフォーマンスを実現している。

関連論文リスト

• Can Large Language Models Act as Ensembler for Multi-GNNs? [6.387816922598151]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なモデルとして登場した。 GNNは、リッチテキストノード属性の固有の意味理解能力に欠けており、アプリケーションにおけるその有効性を制限している。 本研究は、意味情報と構造情報を統合するための堅牢で優れたソリューションを提供することにより、テキストによるグラフアンサンブル学習を推進している。
  論文  参考訳（メタデータ） (2024-10-22T08:48:52Z)
• NT-LLM: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [26.739650151993928]
  グラフは、現実世界のシナリオにおける関係を表現するための基本的なデータ構造である。 グラフ関連のタスクにLLM(Large Language Models)を適用することは、大きな課題となる。 我々は,グラフ構造を効率的にエンコードする新しいフレームワークNT-LLM(Node Tokenizer for Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-10-14T17:21:57Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Dr.E Bridges Graphs with Large Language Models through Words [12.22063024099311]
  本稿では,LLMグラフアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的な '' を理解可能な自然言語に効果的に翻訳することができる。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。