Fugu-MT 論文翻訳(概要): Language Models are Graph Learners

論文の概要: Language Models are Graph Learners

arxiv url: http://arxiv.org/abs/2410.02296v1
Date: Thu, 3 Oct 2024 08:27:54 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 04:12:15.160512
Title: Language Models are Graph Learners
Title（参考訳）: 言語モデルはグラフ学習者である
Authors: Zhe Xu, Kaveh Hassani, Si Zhang, Hanqing Zeng, Michihiro Yasunaga, Limei Wang, Dongqi Fu, Ning Yao, Bo Long, Hanghang Tong,
Abstract要約: 言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
参考スコア（独自算出の注目度）: 70.14063765424012
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Language Models (LMs) are increasingly challenging the dominance of domain-specific models, including Graph Neural Networks (GNNs) and Graph Transformers (GTs), in graph learning tasks. Following this trend, we propose a novel approach that empowers off-the-shelf LMs to achieve performance comparable to state-of-the-art GNNs on node classification tasks, without requiring any architectural modification. By preserving the LM's original architecture, our approach retains a key benefit of LM instruction tuning: the ability to jointly train on diverse datasets, fostering greater flexibility and efficiency. To achieve this, we introduce two key augmentation strategies: (1) Enriching LMs' input using topological and semantic retrieval methods, which provide richer contextual information, and (2) guiding the LMs' classification process through a lightweight GNN classifier that effectively prunes class candidates. Our experiments on real-world datasets show that backbone Flan-T5 models equipped with these augmentation strategies outperform state-of-the-art text-output node classifiers and are comparable to top-performing vector-output node classifiers. By bridging the gap between specialized task-specific node classifiers and general LMs, this work paves the way for more versatile and widely applicable graph learning models. We will open-source the code upon publication.
Abstract（参考訳）: 言語モデル(LM)は、グラフ学習タスクにおいて、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性にますます挑戦している。そこで本研究では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,アーキテクチャ変更を必要とせず,既製のLMを有効活用する手法を提案する。 LMの元々のアーキテクチャを保存することで、私たちのアプローチはLM命令チューニングの重要な利点を保ちます。これを実現するために,(1)よりリッチな文脈情報を提供するトポロジカルおよびセマンティック検索手法を用いたLMの入力の強化,(2)クラス候補を効果的に特定する軽量GNN分類器によるLMの分類プロセスの指導,という2つの重要な拡張戦略を導入する。実世界のデータセットを用いた実験により、これらの拡張戦略を備えたバックボーンFlan-T5モデルは、最先端のテキスト出力ノード分類器よりも優れ、ベクター出力ノード分類器に匹敵する。特定のタスク固有のノード分類器と一般的なLMのギャップを埋めることにより、より汎用的で広く適用可能なグラフ学習モデルへの道を開く。私たちは公開時にコードをオープンソース化します。

関連論文リスト

GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
論文参考訳（メタデータ） (2024-12-08T05:49:58Z)
Bridging Large Language Models and Graph Structure Learning Models for Robust Representation Learning [22.993015048941444]
グラフ表現学習は現実世界のアプリケーションには不可欠だが、広範にわたるノイズに遭遇することが多い。本稿では,事前学習された言語モデルとグラフ構造学習モデルの相補的な長所を統合するフレームワークであるLangGSLを紹介する。
論文参考訳（メタデータ） (2024-10-15T22:43:32Z)
All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文参考訳（メタデータ） (2024-07-20T22:09:42Z)
LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
論文参考訳（メタデータ） (2024-05-22T18:17:20Z)
Large Language Models as Topological Structure Enhancers for Text-Attributed Graphs [4.487720716313697]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
論文参考訳（メタデータ） (2023-11-24T07:53:48Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文参考訳（メタデータ） (2023-07-07T05:31:31Z)
Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。提案手法は、確立されたTAGデータセットの最先端結果を実現する。本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。