論文の概要: Dr.E Bridges Graphs with Large Language Models through Words
- arxiv url: http://arxiv.org/abs/2406.15504v2
- Date: Tue, 27 Aug 2024 10:07:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 19:09:27.342420
- Title: Dr.E Bridges Graphs with Large Language Models through Words
- Title(参考訳): Dr.Eは、単語を通して大きな言語モデルでグラフをブリッジする
- Authors: Zipeng Liu, Likang Wu, Ming He, Zhong Guan, Hongke Zhao, Nan Feng,
- Abstract要約: 本稿では,LLMグラフアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。
提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的な '' を理解可能な自然言語に効果的に翻訳することができる。
- 参考スコア(独自算出の注目度): 12.22063024099311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Significant efforts have been dedicated to integrating the powerful Large Language Models (LLMs) with diverse modalities, particularly focusing on the fusion of language, vision and audio data. However, the graph-structured data, which is inherently rich in structural and domain-specific knowledge, has not yet been gracefully adapted to LLMs. Existing methods either describe the graph with raw text, suffering the loss of graph structural information, or feed Graph Neural Network (GNN) embeddings into LLMs at the cost of losing explainable prompt semantics. To bridge this gap, we introduce an end-to-end modality-aligning framework for LLM-graph alignment: Dual-Residual Vector Quantized-Variational AutoEncoder, namely Dr.E. Our approach is purposefully designed to facilitate token-level alignment with LLMs, enabling an effective translation of the intrinsic `language' of graphs into comprehensible natural language. We also manage to enhance LLMs' more robust structural understanding of graphs by incorporating multiple views of the central nodes based on their surrounding nodes at various distances. Our experimental evaluations on standard graph tasks demonstrate competitive performance against other state-of-the-art (SOTA) approaches. Additionally, our framework ensures certain visual interpretability, efficiency, and robustness, marking the promising successful endeavor to achieve token-level alignment between LLMs and GNNs. Our code is available at: https://anonymous.4open.science/r/dre-817.
- Abstract(参考訳): 強力なLarge Language Models(LLM)を様々なモダリティと統合すること、特に言語、ビジョン、オーディオデータの融合に重点を置いている。
しかし、本来は構造やドメイン固有の知識に富んでいるグラフ構造化データは、まだLLMに優雅に適応していない。
既存の手法では、グラフを生のテキストで記述し、グラフ構造情報の喪失に苦しむか、説明可能なプロンプトセマンティクスを失うコストでLLMにグラフニューラルネットワーク(GNN)を埋め込むかのいずれかである。
このギャップを埋めるために、LLMグラフアライメントのためのエンドツーエンドのモダリティアライメントフレームワーク、Dr.Eを導入する。
提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的な '言語' を理解可能な自然言語に効果的に翻訳することを可能にする。
また,LLMのグラフに対するより堅牢な構造的理解を,周囲のノードを様々な距離で複数のビューに組み込むことで強化する。
標準的なグラフタスクに対する実験的な評価は、他のSOTA(State-of-the-art)アプローチと競合する性能を示す。
さらに,LLMとGNN間のトークンレベルのアライメントを実現するための,将来有望な取り組みとして,視覚的解釈可能性,効率性,堅牢性を保証する。
私たちのコードは、https://anonymous.4open.science/r/dre-817で利用可能です。
関連論文リスト
- All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳(メタデータ) (2024-07-20T22:09:42Z) - Enhancing Data-Limited Graph Neural Networks by Actively Distilling Knowledge from Large Language Models [30.867447814409623]
大規模言語モデル(LLM)とグラフニューラルネットワーク(GNN)を統合した新しいアプローチを提案する。
我々のモデルでは,ラベル付きデータによるノード分類精度を著しく向上し,最先端のベースラインをかなりのマージンで超えた。
論文 参考訳(メタデータ) (2024-07-19T02:34:10Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳(メタデータ) (2024-06-19T22:30:08Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - Graph Language Models [18.75364157933661]
両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。
我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。
関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
論文 参考訳(メタデータ) (2024-01-13T16:09:49Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳(メタデータ) (2023-10-27T14:00:04Z) - Efficient and effective training of language and graph neural network
models [36.00479096375565]
我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。
本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。
我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-06-22T00:23:37Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。