論文の概要: Parameter-Efficient Tuning Large Language Models for Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2404.18271v1
• Date: Sun, 28 Apr 2024 18:36:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 15:16:10.574364
• Title: Parameter-Efficient Tuning Large Language Models for Graph Representation Learning
• Title（参考訳）: グラフ表現学習のためのパラメータ効率の良いチューニング大言語モデル
• Authors: Qi Zhu, Da Zheng, Xiang Song, Shichang Zhang, Bowen Jin, Yizhou Sun, George Karypis,
• Abstract要約: Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 62.26278815157628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-rich graphs, which exhibit rich textual information on nodes and edges, are prevalent across a wide range of real-world business applications. Large Language Models (LLMs) have demonstrated remarkable abilities in understanding text, which also introduced the potential for more expressive modeling in text-rich graphs. Despite these capabilities, efficiently applying LLMs to representation learning on graphs presents significant challenges. Recently, parameter-efficient fine-tuning methods for LLMs have enabled efficient new task generalization with minimal time and memory consumption. Inspired by this, we introduce Graph-aware Parameter-Efficient Fine-Tuning - GPEFT, a novel approach for efficient graph representation learning with LLMs on text-rich graphs. Specifically, we utilize a graph neural network (GNN) to encode structural information from neighboring nodes into a graph prompt. This prompt is then inserted at the beginning of the text sequence. To improve the quality of graph prompts, we pre-trained the GNN to assist the frozen LLM in predicting the next token in the node text. Compared with existing joint GNN and LMs, our method directly generate the node embeddings from large language models with an affordable fine-tuning cost. We validate our approach through comprehensive experiments conducted on 8 different text-rich graphs, observing an average improvement of 2% in hit@1 and Mean Reciprocal Rank (MRR) in link prediction evaluations. Our results demonstrate the efficacy and efficiency of our model, showing that it can be smoothly integrated with various large language models, including OPT, LLaMA and Falcon.
• Abstract（参考訳）: ノードやエッジに関する豊富なテキスト情報を示すテキストリッチグラフは、さまざまな現実世界のビジネスアプリケーションで広く利用されている。 大規模言語モデル(LLM)は、テキストの理解において顕著な能力を示し、テキストリッチグラフにおいてより表現豊かなモデリングの可能性をもたらした。 これらの能力にもかかわらず、グラフ上での表現学習にLLMを効率的に適用することは大きな課題である。 近年, LLMのパラメータ効率のよい微調整手法により, 時間とメモリ消費を最小限に抑え, 効率的な新しいタスク一般化が可能となった。 GPEFTは,テキストリッチグラフ上で LLM を用いた効率的なグラフ表現学習のための新しい手法である。 具体的には、グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 このプロンプトはテキストシーケンスの開始時に挿入される。 グラフプロンプトの品質を向上させるため,ノードテキスト中の次のトークンを予測する際に,凍結LDMを支援するために,GNNを事前訓練した。 既存のGNNやLMと比較して,大規模言語モデルからノード埋め込みを直接生成し,手頃な微調整コストで生成する。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。 この結果から,OPT,LLaMA,Falconなどの大規模言語モデルとスムーズに統合できることが示唆された。

関連論文リスト

• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Efficient Tuning and Inference for Large Language Models on Textual Graphs [29.54120519469645]
  ENGINE は LLM エンコーダを用いたテキストグラフのパラメータおよびメモリ効率の高い微調整法である。 テキストグラフの実験は、最良のモデル性能を達成することによって、我々の手法の有効性を実証する。 キャッシュと動的アーリーエグジットの2つのバリエーションを導入し、トレーニングと推論速度をさらに向上させる。
  論文  参考訳（メタデータ） (2024-01-28T05:12:09Z)
• Efficient Large Language Models Fine-Tuning On Graphs [23.19795835873144]
  Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。 本稿では,TAG上でのLarge Language Models (LLMs) のエンドツーエンド微調整のための新しい,効率的なアプローチについて紹介する。
  論文  参考訳（メタデータ） (2023-12-07T22:35:16Z)
• Large Language Models on Graphs: A Comprehensive Survey [81.7684686396014]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Which Modality should I use -- Text, Motif, or Image? : Understanding Graphs with Large Language Models [14.251972223585765]
  本稿では,テキスト,画像,モチーフなどの多様性を持つグラフを符号化する新たな手法を提案する。 また、グラフ構造解析において、LLM(Large Language Models)を評価するための新しいベンチマークであるGraphTMIも提示されている。
  論文  参考訳（メタデータ） (2023-11-16T12:45:41Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。