論文の概要: Can GNN be Good Adapter for LLMs?

• arxiv url: http://arxiv.org/abs/2402.12984v1
• Date: Tue, 20 Feb 2024 13:13:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 15:20:26.924627
• Title: Can GNN be Good Adapter for LLMs?
• Title（参考訳）: GNNはLLMに良いアダプタになれるか?
• Authors: Xuanwen Huang, Kaiqiao Han, Yang Yang, Dezheng Bao, Quanjin Tao, Ziwei Chai, and Qi Zhu
• Abstract要約: テキスト分散グラフ(TAG)は、ソーシャルメディアやレコメンデーションシステムなどに広く応用されている。 グラフニューラルネットワーク(GNN)を,大規模言語モデル(LLM)と協調してTAGに対処する上で,効率的なアダプタとして使用するGraphAdapterを提案する。 複数の実世界のTAGにわたる広範な実験を通じて、Llama 2に基づくGraphAdapterは、ノード分類の点で平均5%改善されている。
• 参考スコア（独自算出の注目度）: 7.18511200494162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, large language models (LLMs) have demonstrated superior capabilities in understanding and zero-shot learning on textual data, promising significant advances for many text-related domains. In the graph domain, various real-world scenarios also involve textual data, where tasks and node features can be described by text. These text-attributed graphs (TAGs) have broad applications in social media, recommendation systems, etc. Thus, this paper explores how to utilize LLMs to model TAGs. Previous methods for TAG modeling are based on million-scale LMs. When scaled up to billion-scale LLMs, they face huge challenges in computational costs. Additionally, they also ignore the zero-shot inference capabilities of LLMs. Therefore, we propose GraphAdapter, which uses a graph neural network (GNN) as an efficient adapter in collaboration with LLMs to tackle TAGs. In terms of efficiency, the GNN adapter introduces only a few trainable parameters and can be trained with low computation costs. The entire framework is trained using auto-regression on node text (next token prediction). Once trained, GraphAdapter can be seamlessly fine-tuned with task-specific prompts for various downstream tasks. Through extensive experiments across multiple real-world TAGs, GraphAdapter based on Llama 2 gains an average improvement of approximately 5\% in terms of node classification. Furthermore, GraphAdapter can also adapt to other language models, including RoBERTa, GPT-2. The promising results demonstrate that GNNs can serve as effective adapters for LLMs in TAG modeling.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) はテキストデータに対する理解やゼロショット学習において優れた能力を示し,多くのテキスト関連領域において大きな進歩を期待している。 グラフ領域では、様々な実世界のシナリオは、タスクやノードの機能をテキストで記述できるテキストデータも含む。 これらのテキスト分散グラフ(TAG)は、ソーシャルメディアやレコメンデーションシステムなどに広く応用されている。 そこで本稿では,TAGのモデル化にLLMを利用する方法について検討する。 従来のTAGモデリング手法は100万スケールのLMに基づいている。 数十億のLLMにスケールアップすると、計算コストの大きな課題に直面します。 さらに、LLMのゼロショット推論機能も無視する。 そこで我々は,グラフニューラルネットワーク(gnn)を効率的なアダプタとして,llmsと連携してタグに取り組むgraphadapterを提案する。 効率の面では、GNNアダプタはトレーニング可能なパラメータをいくつか導入し、低計算コストでトレーニングすることができる。 フレームワーク全体がノードテキストの自動回帰(next token prediction)を使用してトレーニングされる。 トレーニングが完了すると、GraphAdapterはさまざまなダウンストリームタスクに対してタスク固有のプロンプトでシームレスに微調整できる。 複数の実世界のTAGにわたる広範な実験を通じて、Llama 2に基づくGraphAdapterは、ノード分類の点で平均5\%改善されている。 さらに、GraphAdapterはRoBERTa、GPT-2など他の言語モデルにも適応できる。 有望な結果は、GNNがTAGモデリングにおいてLLMの効果的なアダプタとして機能することを証明している。

関連論文リスト

• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。