論文の概要: Language Models are Graph Learners
- arxiv url: http://arxiv.org/abs/2410.02296v1
- Date: Thu, 03 Oct 2024 08:27:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 23:30:07.478172
- Title: Language Models are Graph Learners
- Title(参考訳): 言語モデルはグラフ学習者である
- Authors: Zhe Xu, Kaveh Hassani, Si Zhang, Hanqing Zeng, Michihiro Yasunaga, Limei Wang, Dongqi Fu, Ning Yao, Bo Long, Hanghang Tong,
- Abstract要約: 言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。
本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
- 参考スコア(独自算出の注目度): 70.14063765424012
- License:
- Abstract: Language Models (LMs) are increasingly challenging the dominance of domain-specific models, including Graph Neural Networks (GNNs) and Graph Transformers (GTs), in graph learning tasks. Following this trend, we propose a novel approach that empowers off-the-shelf LMs to achieve performance comparable to state-of-the-art GNNs on node classification tasks, without requiring any architectural modification. By preserving the LM's original architecture, our approach retains a key benefit of LM instruction tuning: the ability to jointly train on diverse datasets, fostering greater flexibility and efficiency. To achieve this, we introduce two key augmentation strategies: (1) Enriching LMs' input using topological and semantic retrieval methods, which provide richer contextual information, and (2) guiding the LMs' classification process through a lightweight GNN classifier that effectively prunes class candidates. Our experiments on real-world datasets show that backbone Flan-T5 models equipped with these augmentation strategies outperform state-of-the-art text-output node classifiers and are comparable to top-performing vector-output node classifiers. By bridging the gap between specialized task-specific node classifiers and general LMs, this work paves the way for more versatile and widely applicable graph learning models. We will open-source the code upon publication.
- Abstract(参考訳): 言語モデル(LM)は、グラフ学習タスクにおいて、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性にますます挑戦している。
そこで本研究では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,アーキテクチャ変更を必要とせず,既製のLMを有効活用する手法を提案する。
LMの元々のアーキテクチャを保存することで、私たちのアプローチはLM命令チューニングの重要な利点を保ちます。
これを実現するために,(1)よりリッチな文脈情報を提供するトポロジカルおよびセマンティック検索手法を用いたLMの入力の強化,(2)クラス候補を効果的に特定する軽量GNN分類器によるLMの分類プロセスの指導,という2つの重要な拡張戦略を導入する。
実世界のデータセットを用いた実験により、これらの拡張戦略を備えたバックボーンFlan-T5モデルは、最先端のテキスト出力ノード分類器よりも優れ、ベクター出力ノード分類器に匹敵する。
特定のタスク固有のノード分類器と一般的なLMのギャップを埋めることにより、より汎用的で広く適用可能なグラフ学習モデルへの道を開く。
私たちは公開時にコードをオープンソース化します。
関連論文リスト
- All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳(メタデータ) (2024-07-20T22:09:42Z) - Enhancing Graph Neural Networks with Limited Labeled Data by Actively Distilling Knowledge from Large Language Models [30.867447814409623]
グラフニューラルネットワーク(GNN)は、グラフの基本課題であるノード分類において優れた能力を持つ。
本稿では,Large Language Models(LLM)とGNNを統合する新しい手法を提案する。
我々のモデルでは,ラベル付きデータによるノード分類精度を著しく向上し,最先端のベースラインをかなりのマージンで超えた。
論文 参考訳(メタデータ) (2024-07-19T02:34:10Z) - STAGE: Simplified Text-Attributed Graph Embeddings Using Pre-trained LLMs [1.4624458429745086]
テキスト分散グラフ(TAG)を符号化するグラフニューラルネットワーク(GNN)モデルにおけるノード機能向上手法を提案する。
本手法では,Large-Language Models (LLMs) を用いてテキスト属性の埋め込みを生成する。
我々は,事前学習したLLMを埋め込みジェネレータとして利用することにより,GNNのアンサンブルトレーニングに堅牢な機能を実現することを示す。
論文 参考訳(メタデータ) (2024-07-10T08:50:25Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳(メタデータ) (2024-06-19T22:30:08Z) - Dr.E Bridges Graphs with Large Language Models through Words [12.22063024099311]
本稿では,LLMグラフアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。
提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的な '' を理解可能な自然言語に効果的に翻訳することができる。
論文 参考訳(メタデータ) (2024-06-19T16:43:56Z) - LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。
我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。
両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
論文 参考訳(メタデータ) (2024-05-22T18:17:20Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。