論文の概要: GNN-as-Judge: Unleashing the Power of LLMs for Graph Learning with GNN Feedback
- arxiv url: http://arxiv.org/abs/2604.08553v1
- Date: Wed, 11 Mar 2026 21:14:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-19 19:09:11.39796
- Title: GNN-as-Judge: Unleashing the Power of LLMs for Graph Learning with GNN Feedback
- Title(参考訳): GNN-as-Judge: GNNフィードバックによるグラフ学習のためのLLMのパワーの解放
- Authors: Ruiyao Xu, Kaize Ding,
- Abstract要約: 大規模言語モデル (LLM) はテキスト分散グラフ (TAG) 上で高い性能を示した。
本論文は, (i) LLMのTAGの生成と選択の難しさ, (ii) 擬似ラベル付きLPMを微調整する際の潜在的なラベルノイズを軽減する必要性の2つの課題を対象としている。
GNN-as-Judge という新しいフレームワークを提案する。このフレームワークは,TAG 上で数発のセミ教師付き学習を行うための LLM のパワーを解放することができる。
- 参考スコア(独自算出の注目度): 29.323513184371222
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have shown strong performance on text-attributed graphs (TAGs) due to their superior semantic understanding ability on textual node features. However, their effectiveness as predictors in the low-resource setting, where labeled nodes are severely limited and scarce, remains constrained since fine-tuning LLMs usually requires sufficient labeled data, especially when the TAG shows complex structural patterns. In essence, this paper targets two key challenges: (i) the difficulty of generating and selecting reliable pseudo labels on TAGs for LLMs, and (ii) the need to mitigate potential label noise when fine-tuning LLMs with pseudo labels. To counter the challenges, we propose a new framework, GNN-as-Judge, which can unleash the power of LLMs for few-shot semi-supervised learning on TAGs by incorporating the structural inductive bias of Graph Neural Networks (GNNs). Specifically, GNN-as-Judge introduces a collaborative pseudo-labeling strategy that first identifies the most influenced unlabeled nodes from labeled nodes, then exploits both the agreement and disagreement patterns between LLMs and GNNs to generate reliable labels. Furthermore, we develop a weakly-supervised LLM fine-tuning algorithm that can distill the knowledge from informative pseudo labels while mitigating the potential label noise. Experiments on multiple TAG datasets demonstrate that GNN-as-Judge significantly outperforms existing methods, particularly in low-resource regimes where labeled data are scarce.
- Abstract(参考訳): 大規模言語モデル(LLM)は,テキストノードの特徴に対するセマンティック理解能力に優れていたため,テキスト分散グラフ(TAG)に強い性能を示した。
しかしながら、ラベル付きノードが著しく制限され、不足している低リソース環境での予測器としてのそれらの有効性は、特にTAGが複雑な構造パターンを示す場合、通常十分なラベル付きデータを必要とするため、制約が残っている。
基本的に、本論文は2つの主要な課題をターゲットにしている。
一 LLMのTAGに信頼できる偽ラベルを作成・選択することの難しさ及び
(II)擬似ラベルを用いた微調整LDMにおける潜在的なラベルノイズを軽減する必要性。
この課題に対処するために,グラフニューラルネットワーク(GNN)の構造帰納バイアスを組み込むことで,TAG上の数発のセミ教師付き学習のためのLLMのパワーを解き放つ新しいフレームワークGNN-as-Judgeを提案する。
具体的には、GNN-as-Judgeは、ラベル付きノードから最も影響を受けないノードを最初に識別し、LLMとGNNの合意と不一致パターンを利用して信頼できるラベルを生成する、協調的な擬似ラベル戦略を導入する。
さらに,情報的な擬似ラベルから知識を抽出し,潜在的なラベルノイズを緩和するLLM微調整アルゴリズムを開発した。
複数のTAGデータセットの実験により、GNN-as-Judgeは既存の手法、特にラベル付きデータが不足している低リソースのレギュレーションにおいて、大幅に性能が向上していることが示された。
関連論文リスト
- Dynamic Bundling with Large Language Models for Zero-Shot Inference on Text-Attributed Graphs [56.73437142790496]
大規模言語モデル(LLM)は多くのゼロショット学習問題で使われている。
LLMは、グラフトポロジから分離されたテキスト属性と競合する。
これらは、情報不足とLLMの固有の弱点の両方により、信頼性の低い予測をもたらす。
論文 参考訳(メタデータ) (2025-05-23T08:12:16Z) - Few-Shot Graph Out-of-Distribution Detection with LLMs [34.42512005781724]
本稿では,大規模言語モデル (LLM) とグラフニューラルネットワーク (GNN) の長所を組み合わせたフレームワークを提案する。
LLM-GOODは人間のアノテーションのコストを大幅に削減し、ID分類精度とOOD検出性能の両方において最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2025-03-28T02:37:18Z) - Leveraging Large Language Models for Effective Label-free Node Classification in Text-Attributed Graphs [10.538099379851198]
Locleは、LLMによるラベルなしノード分類を費用対効果で行う、アクティブなセルフトレーニングフレームワークである。
これは、GNNを用いて少数の「クリティカル」サンプルを反復的に識別し、LLMとGNNの両方で情報的擬似ラベルを抽出する。
ラベルのないノード分類では、同じクエリ予算で最先端のメソッドをLLMに大幅に上回ります。
論文 参考訳(メタデータ) (2024-12-16T17:04:40Z) - Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。
本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。
ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2024-09-19T02:59:44Z) - All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳(メタデータ) (2024-07-20T22:09:42Z) - Label-free Node Classification on Graphs with Large Language Models
(LLMS) [46.937442239949256]
本研究では,Large Language Models パイプライン LLM-GNN を用いたグラフ上でのラベルなしノード分類を導入する。
制限を緩和しながら、GNNとLLMの長所を反復する。
特に、LLM-GNNは1ドル未満の大規模データセットで74.9%の精度を達成できる。
論文 参考訳(メタデータ) (2023-10-07T03:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。