論文の概要: Enhancing Data-Limited Graph Neural Networks by Actively Distilling Knowledge from Large Language Models
- arxiv url: http://arxiv.org/abs/2407.13989v1
- Date: Fri, 19 Jul 2024 02:34:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 19:03:23.434235
- Title: Enhancing Data-Limited Graph Neural Networks by Actively Distilling Knowledge from Large Language Models
- Title（参考訳）: 大規模言語モデルからの知識を積極的に拡張するデータ制限グラフニューラルネットワークの強化
- Authors: Quan Li, Tianxiang Zhao, Lingwei Chen, Junjie Xu, Suhang Wang,
- Abstract要約: 大規模言語モデル(LLM)とグラフニューラルネットワーク(GNN)を統合した新しいアプローチを提案する。
我々のモデルでは,ラベル付きデータによるノード分類精度を著しく向上し,最先端のベースラインをかなりのマージンで超えた。
- 参考スコア（独自算出の注目度）: 30.867447814409623
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graphs have emerged as critical data structures for content analysis in various domains, such as social network analysis, bioinformatics, and recommendation systems. Node classification, a fundamental task in this context, is typically tackled using graph neural networks (GNNs). Unfortunately, conventional GNNs still face challenges in scenarios with few labeled nodes, despite the prevalence of few-shot node classification tasks in real-world applications. To address this challenge, various approaches have been proposed, including graph meta-learning, transfer learning, and methods based on Large Language Models (LLMs). However, traditional meta-learning and transfer learning methods often require prior knowledge from base classes or fail to exploit the potential advantages of unlabeled nodes. Meanwhile, LLM-based methods may overlook the zero-shot capabilities of LLMs and rely heavily on the quality of generated contexts. In this paper, we propose a novel approach that integrates LLMs and GNNs, leveraging the zero-shot inference and reasoning capabilities of LLMs and employing a Graph-LLM-based active learning paradigm to enhance GNNs' performance. Extensive experiments demonstrate the effectiveness of our model in improving node classification accuracy with considerably limited labeled data, surpassing state-of-the-art baselines by significant margins.
- Abstract（参考訳）: グラフは、ソーシャルネットワーク分析、バイオインフォマティクス、レコメンデーションシステムなど、さまざまな領域におけるコンテンツ分析の重要なデータ構造として現れてきた。
この文脈における基本的なタスクであるノード分類は、一般的にグラフニューラルネットワーク(GNN)を使用して取り組まれる。
残念ながら、従来のGNNは、実世界のアプリケーションで数ショットのノード分類タスクが頻繁に行われているにもかかわらず、ラベル付きノードがほとんどないシナリオでは依然として課題に直面している。
この課題に対処するため,グラフメタ学習,移動学習,Large Language Models(LLM)に基づく手法など,さまざまなアプローチが提案されている。
しかし、従来のメタラーニングとトランスファーラーニングは、しばしば基礎クラスからの事前の知識を必要とするか、ラベルなしノードの潜在的な利点を活用できない。
一方、LLMベースの手法は、LLMのゼロショット機能を見落とし、生成されたコンテキストの品質に大きく依存する。
本稿では、LLMとGNNを統合し、LLMのゼロショット推論と推論機能を活用し、GNNの性能を高めるためにグラフ-LLMベースのアクティブラーニングパラダイムを用いる新しいアプローチを提案する。
大規模な実験により,ノード分類精度をかなり制限されたラベル付きデータで向上し,最先端のベースラインをかなりのマージンで上回った。
関連論文リスト
- All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳（メタデータ） (2024-07-20T22:09:42Z) - Similarity-based Neighbor Selection for Graph LLMs [43.176381523196426]
類似性に基づく近隣選択(SNS)について紹介する。
SNSは、選択した隣人の品質を改善し、グラフ表現を改善し、オーバースカッシングやヘテロフィリーといった問題を緩和する。
インダクティブでトレーニングのないアプローチとして、SNSは従来のGNN手法よりも優れた一般化とスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-06T05:29:05Z) - Hyperbolic Graph Neural Networks at Scale: A Meta Learning Approach [19.237565246362134]
本稿では,ノード分類とリンク予測のための新しい手法であるHyperbolic GRAph Meta Learner (H-GRAM)を提案する。
H-GRAMは、ハイパーボリックなメタグラデーションとラベルのハイパーボリックなプロトネットという形で、サポートローカルなサブグラフの集合から転送可能な情報を学習する。
比較分析の結果,H-GRAMは複数の難易度設定で情報を効果的に学習し,転送することがわかった。
論文 参考訳（メタデータ） (2023-10-29T06:11:49Z) - Learning How to Propagate Messages in Graph Neural Networks [55.2083896686782]
本稿では,グラフニューラルネットワーク(GNN)におけるメッセージ伝搬戦略の学習問題について検討する。
本稿では,GNNパラメータの最大類似度推定を支援するために,最適伝搬ステップを潜時変数として導入する。
提案フレームワークは,GNNにおけるメッセージのパーソナライズおよび解釈可能な伝達戦略を効果的に学習することができる。
論文 参考訳（メタデータ） (2023-10-01T15:09:59Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳（メタデータ） (2023-07-07T05:31:31Z) - Efficient and effective training of language and graph neural network
models [36.00479096375565]
我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。
本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。
我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-06-22T00:23:37Z) - Meta Propagation Networks for Graph Few-shot Semi-supervised Learning [39.96930762034581]
本稿では,この問題を解決するために,メタ学習アルゴリズムを用いた新しいネットワークアーキテクチャを提案する。
基本的に,我々のMeta-PNフレームワークは,メタ学習ラベルの伝搬戦略を用いて,未ラベルノード上の高品質な擬似ラベルを推論する。
我々のアプローチは、様々なベンチマークデータセットの既存の技術と比較して、容易で実質的なパフォーマンス向上を提供する。
論文 参考訳（メタデータ） (2021-12-18T00:11:56Z) - Weakly-supervised Graph Meta-learning for Few-shot Node Classification [53.36828125138149]
新しいグラフメタ学習フレームワーク - Graph Hallucination Networks (Meta-GHN) を提案する。
新たなロバストネス強化エピソードトレーニングに基づいて、Meta-GHNは、弱いラベル付きデータからクリーンノード表現を幻覚させるメタ学習を行う。
大規模な実験は、既存のグラフメタ学習研究よりもMeta-GHNの方が優れていることを示す。
論文 参考訳（メタデータ） (2021-06-12T22:22:10Z) - Graph Prototypical Networks for Few-shot Learning on Attributed Networks [72.31180045017835]
グラフメタ学習フレームワーク - Graph Prototypeal Networks (GPN) を提案する。
GPNは、属性付きネットワーク上でテキストミータ学習を行い、ターゲット分類タスクを扱うための高度に一般化可能なモデルを導出する。
論文 参考訳（メタデータ） (2020-06-23T04:13:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。