論文の概要: Label-free Node Classification on Graphs with Large Language Models
(LLMS)
- arxiv url: http://arxiv.org/abs/2310.04668v3
- Date: Sat, 24 Feb 2024 06:44:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 19:07:00.665739
- Title: Label-free Node Classification on Graphs with Large Language Models
(LLMS)
- Title(参考訳): 大規模言語モデル(LLMS)を用いたグラフ上のラベルなしノード分類
- Authors: Zhikai Chen, Haitao Mao, Hongzhi Wen, Haoyu Han, Wei Jin, Haiyang
Zhang, Hui Liu, Jiliang Tang
- Abstract要約: 本研究では,Large Language Models パイプライン LLM-GNN を用いたグラフ上でのラベルなしノード分類を導入する。
制限を緩和しながら、GNNとLLMの長所を反復する。
特に、LLM-GNNは1ドル未満の大規模データセットで74.9%の精度を達成できる。
- 参考スコア(独自算出の注目度): 46.937442239949256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, there have been remarkable advancements in node
classification achieved by Graph Neural Networks (GNNs). However, they
necessitate abundant high-quality labels to ensure promising performance. In
contrast, Large Language Models (LLMs) exhibit impressive zero-shot proficiency
on text-attributed graphs. Yet, they face challenges in efficiently processing
structural data and suffer from high inference costs. In light of these
observations, this work introduces a label-free node classification on graphs
with LLMs pipeline, LLM-GNN. It amalgamates the strengths of both GNNs and LLMs
while mitigating their limitations. Specifically, LLMs are leveraged to
annotate a small portion of nodes and then GNNs are trained on LLMs'
annotations to make predictions for the remaining large portion of nodes. The
implementation of LLM-GNN faces a unique challenge: how can we actively select
nodes for LLMs to annotate and consequently enhance the GNN training? How can
we leverage LLMs to obtain annotations of high quality, representativeness, and
diversity, thereby enhancing GNN performance with less cost? To tackle this
challenge, we develop an annotation quality heuristic and leverage the
confidence scores derived from LLMs to advanced node selection. Comprehensive
experimental results validate the effectiveness of LLM-GNN. In particular,
LLM-GNN can achieve an accuracy of 74.9% on a vast-scale dataset \products with
a cost less than 1 dollar.
- Abstract(参考訳): 近年,グラフニューラルネットワーク(gnns)によるノード分類が著しく進歩している。
しかし、有望なパフォーマンスを保証するためには、豊富な高品質なラベルが必要である。
対照的に、Large Language Models (LLMs) は、テキスト分散グラフに印象的なゼロショットの習熟度を示す。
しかし、効率的な構造データ処理の課題に直面し、高い推論コストを被る。
これらの観測から, LLMsパイプラインを用いたグラフ上のラベルなしノード分類, LLM-GNNを導入する。
制限を緩和しながら、gnnとllmの両方の強みを融合させる。
特に、llmは少数のノードに注釈をつけるために利用され、gnnはllmsのアノテーションで訓練され、残りのノードの大部分が予測される。
llm-gnnの実装は、いかに積極的にllmのノードを選択してアノテートし、gnnトレーニングを強化するかという、ユニークな課題に直面している。
高品質、代表性、多様性のアノテーションを得るためにLLMをどのように活用すれば、より低コストでGNN性能を向上させることができるのか?
この課題に取り組むために,アノテーションの品質ヒューリスティックを開発し,llmから得られた信頼度スコアを高度なノード選択に活用する。
LLM-GNNの有効性を総合的に検証した。
特に、LLM-GNNは1ドル未満の大規模データセット \products において74.9%の精度を達成できる。
関連論文リスト
- Can GNN be Good Adapter for LLMs? [7.18511200494162]
テキスト分散グラフ(TAG)は、ソーシャルメディアやレコメンデーションシステムなどに広く応用されている。
グラフニューラルネットワーク(GNN)を,大規模言語モデル(LLM)と協調してTAGに対処する上で,効率的なアダプタとして使用するGraphAdapterを提案する。
複数の実世界のTAGにわたる広範な実験を通じて、Llama 2に基づくGraphAdapterは、ノード分類の点で平均5%改善されている。
論文 参考訳(メタデータ) (2024-02-20T13:13:13Z) - Large Language Model Meets Graph Neural Network in Knowledge
Distillation [8.145068353170894]
LinguGKDは、追加のデータやモデルパラメータを必要とせずに、学生GNNの予測精度と収束率を大幅に向上させる。
教師のLLMと比較して、蒸留したGNNは、計算とストレージの要求をはるかに少なくした推論速度が優れている。
論文 参考訳(メタデータ) (2024-02-08T18:33:21Z) - Similarity-based Neighbor Selection for Graph LLMs [43.176381523196426]
類似性に基づく近隣選択(SNS)について紹介する。
SNSは、選択した隣人の品質を改善し、グラフ表現を改善し、オーバースカッシングやヘテロフィリーといった問題を緩和する。
インダクティブでトレーニングのないアプローチとして、SNSは従来のGNN手法よりも優れた一般化とスケーラビリティを示している。
論文 参考訳(メタデータ) (2024-02-06T05:29:05Z) - Large Language Models as Topological Structure Enhancers for
Text-Attributed Graphs [4.90251248691462]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。
本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
論文 参考訳(メタデータ) (2023-11-24T07:53:48Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-10-24T08:56:49Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳(メタデータ) (2023-07-07T05:31:31Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - GPT-NER: Named Entity Recognition via Large Language Models [58.609582116612934]
GPT-NERはシーケンスラベリングタスクを言語モデルで容易に適用可能な生成タスクに変換する。
GPT-NERは、トレーニングデータの量が極めて少ない場合、低リソースかつ少数ショットのセットアップにおいて、より優れた能力を示す。
これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
論文 参考訳(メタデータ) (2023-04-20T16:17:26Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳(メタデータ) (2022-12-18T08:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。