論文の概要: Explanations as Features: LLM-Based Features for Text-Attributed Graphs

• arxiv url: http://arxiv.org/abs/2305.19523v1
• Date: Wed, 31 May 2023 03:18:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 18:48:35.650894
• Title: Explanations as Features: LLM-Based Features for Text-Attributed Graphs
• Title（参考訳）: 特徴としての説明:テキスト属性グラフのためのllmベースの機能
• Authors: Xiaoxin He, Xavier Bresson, Thomas Laurent, Bryan Hooi
• Abstract要約: 我々は、下流タスクにおけるGNNのパフォーマンス向上に使用できる機能として、テキスト情報をキャプチャするために活用することに注力する。 我々の豊富な特徴は、さまざまなデータセットにわたる様々なGNNモデルの性能を改善していることを示す。
• 参考スコア（独自算出の注目度）: 28.518692779881544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning on text-attributed graphs (TAGs) has become a critical research problem in recent years. A typical example of a TAG is a paper citation graph, where the text of each paper serves as node attributes. Most graph neural network (GNN) pipelines handle these text attributes by transforming them into shallow or hand-crafted features, such as skip-gram or bag-of-words features. Recent efforts have focused on enhancing these pipelines with language models. With the advent of powerful large language models (LLMs) such as GPT, which demonstrate an ability to reason and to utilize general knowledge, there is a growing need for techniques which combine the textual modelling abilities of LLMs with the structural learning capabilities of GNNs. Hence, in this work, we focus on leveraging LLMs to capture textual information as features, which can be used to boost GNN performance on downstream tasks. A key innovation is our use of \emph{explanations as features}: we prompt an LLM to perform zero-shot classification and to provide textual explanations for its decisions, and find that the resulting explanations can be transformed into useful and informative features to augment downstream GNNs. Through experiments we show that our enriched features improve the performance of a variety of GNN models across different datasets. Notably, we achieve top-1 performance on \texttt{ogbn-arxiv} by a significant margin over the closest baseline even with $2.88\times$ lower computation time, as well as top-1 performance on TAG versions of the widely used \texttt{PubMed} and \texttt{Cora} benchmarks~\footnote{Our codes and datasets are available at: \url{https://github.com/XiaoxinHe/TAPE}}.
• Abstract（参考訳）: 近年,テキスト対応グラフ(TAG)の表現学習が重要な研究課題となっている。 TAGの典型的な例は、各論文のテキストがノード属性として機能する論文引用グラフである。 ほとんどのグラフニューラルネットワーク(gnn)パイプラインは、これらのテキスト属性をスキップグラムや単語の袋など、浅いあるいは手作りの機能に変換することで処理する。 最近の取り組みは、これらのパイプラインを言語モデルで強化することに注力している。 GPTのような強力な大規模言語モデル(LLM)が出現し、理性を示し、一般知識を活用できるようになり、LLMのテキストモデリング能力とGNNの構造学習能力を組み合わせた技術の必要性が高まっている。 そこで本研究では,LLMを利用してテキスト情報を特徴として捉え,下流タスクにおけるGNNの性能向上に活用する。 重要なイノベーションは、機能としてのemph{explanations(emph{explanations as features})の使用である: LLMにゼロショット分類を実行させ、その決定のためのテキストによる説明を提供し、その結果の説明が、下流のGNNを増強するために有用で有益な機能に変換できることを見つける。 実験を通して、豊富な機能により、さまざまなデータセットにわたるさまざまなGNNモデルの性能が向上することを示す。 特に、最も近いベースラインに対して、$2.88\times$より低い計算時間で、また、広く使われている \texttt{PubMed} と \textt{Cora} ベンチマークの TAG バージョンにおけるトップ-1 のパフォーマンスで、 \url{https://github.com/XiaoxinHe/TAPE}} よりも大きなマージンで、 \textt{Our コードとデータセットが利用可能である。

関連論文リスト

• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Large Language Models as Topological Structure Enhancers for Text-Attributed Graphs [4.487720716313697]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
  論文  参考訳（メタデータ） (2023-11-24T07:53:48Z)
• Empower Text-Attributed Graphs Learning with Large Language Models (LLMs) [5.920353954082262]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。 実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。