論文の概要: Few-Shot Graph Out-of-Distribution Detection with LLMs

• arxiv url: http://arxiv.org/abs/2503.22097v1
• Date: Fri, 28 Mar 2025 02:37:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:32:29.574383
• Title: Few-Shot Graph Out-of-Distribution Detection with LLMs
• Title（参考訳）: LLMを用いたFew-Shot Graph Out-of-Distribution Detection
• Authors: Haoyan Xu, Zhengtao Yao, Yushun Dong, Ziyi Wang, Ryan A. Rossi, Mengyuan Li, Yue Zhao,
• Abstract要約: 本稿では,大規模言語モデル (LLM) とグラフニューラルネットワーク (GNN) の長所を組み合わせたフレームワークを提案する。 LLM-GOODは人間のアノテーションのコストを大幅に削減し、ID分類精度とOOD検出性能の両方において最先端のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 34.42512005781724
• License:
• Abstract: Existing methods for graph out-of-distribution (OOD) detection typically depend on training graph neural network (GNN) classifiers using a substantial amount of labeled in-distribution (ID) data. However, acquiring high-quality labeled nodes in text-attributed graphs (TAGs) is challenging and costly due to their complex textual and structural characteristics. Large language models (LLMs), known for their powerful zero-shot capabilities in textual tasks, show promise but struggle to naturally capture the critical structural information inherent to TAGs, limiting their direct effectiveness. To address these challenges, we propose LLM-GOOD, a general framework that effectively combines the strengths of LLMs and GNNs to enhance data efficiency in graph OOD detection. Specifically, we first leverage LLMs' strong zero-shot capabilities to filter out likely OOD nodes, significantly reducing the human annotation burden. To minimize the usage and cost of the LLM, we employ it only to annotate a small subset of unlabeled nodes. We then train a lightweight GNN filter using these noisy labels, enabling efficient predictions of ID status for all other unlabeled nodes by leveraging both textual and structural information. After obtaining node embeddings from the GNN filter, we can apply informativeness-based methods to select the most valuable nodes for precise human annotation. Finally, we train the target ID classifier using these accurately annotated ID nodes. Extensive experiments on four real-world TAG datasets demonstrate that LLM-GOOD significantly reduces human annotation costs and outperforms state-of-the-art baselines in terms of both ID classification accuracy and OOD detection performance.
• Abstract（参考訳）: 既存のグラフアウト・オブ・ディストリビューション(OOD)検出方法は、通常、大量のラベル付きイン・ディストリビューション(ID)データを使用したトレーニンググラフニューラルネットワーク(GNN)分類器に依存する。 しかし、テキスト分散グラフ(TAG)における高品質なラベル付きノードの取得は、複雑なテキストと構造的特性のため、困難でコストがかかる。 大規模言語モデル(LLM)は、テキストタスクにおける強力なゼロショット機能で知られており、将来性を示すが、TAGに固有の重要な構造情報を自然に捉えるのに苦労し、直接の有効性を制限している。 これらの課題に対処するために,LLMとGNNの強度を効果的に組み合わせてグラフOOD検出におけるデータ効率を向上させる汎用フレームワーク LLM-GOOD を提案する。 具体的には、まずLDMの強力なゼロショット機能を利用して、OODノードをフィルタリングし、人間のアノテーションの負担を大幅に軽減する。 LLMの使用とコストを最小化するために、ラベルのないノードの小さなサブセットにアノテートするためにのみ使用する。 そして、これらのノイズラベルを用いて軽量なGNNフィルタをトレーニングし、テキスト情報と構造情報の両方を活用することにより、他のすべてのラベル付きノードのIDステータスの効率的な予測を可能にする。 GNNフィルタからノード埋め込みを得た後、情報量に基づく手法を適用して、正確な人間のアノテーションのために最も価値のあるノードを選択することができる。 最後に、これらの正確に注釈付きIDノードを用いてターゲットID分類器を訓練する。 4つの実世界のTAGデータセットに対する大規模な実験により、LLM-GOODは人間のアノテーションコストを大幅に削減し、ID分類精度とOOD検出性能の両方において最先端のベースラインを上回っていることが示された。

関連論文リスト

• Cost-Effective Label-free Node Classification with LLMs [10.538099379851198]
  グラフニューラルネットワーク(GNN)は,グラフデータのノード分類モデルとして登場した。 大規模言語モデル (LLMs) の出現により、有望な方法は、ノードラベリングに非常に優れたゼロショット機能と膨大な知識を活用することである。 この研究は、LCMをGNNに統合する能動的自己学習フレームワークであるCellaを費用対効果で提示する。
  論文  参考訳（メタデータ） (2024-12-16T17:04:40Z)
• LEGO-Learn: Label-Efficient Graph Open-Set Learning [46.62885412695813]
  グラフオープンセット学習(GOL)とアウト・オブ・ディストリビューション(OOD)の検出は、既知のイン・ディストリビューション(ID)クラスを正確に分類可能なトレーニングモデルによってこの問題に対処することを目的としている。 モデルが金融、セキュリティ、ヘルスケアといった予期せぬデータに頻繁に遭遇する、高度な現実世界のアプリケーションにとって、これは重要なことです。 LEGO-Learnは,ラベルの予算内で,最も情報性の高いIDノードを選択することで,グラフ上のオープンセットノード分類に取り組む新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-21T18:01:11Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Similarity-based Neighbor Selection for Graph LLMs [43.176381523196426]
  類似性に基づく近隣選択(SNS)について紹介する。 SNSは、選択した隣人の品質を改善し、グラフ表現を改善し、オーバースカッシングやヘテロフィリーといった問題を緩和する。 インダクティブでトレーニングのないアプローチとして、SNSは従来のGNN手法よりも優れた一般化とスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-06T05:29:05Z)
• Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs [5.587264586806575]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 LLMはラベルから意味情報を抽出し、模範としてカテゴリに属するサンプルを生成する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• Label-free Node Classification on Graphs with Large Language Models (LLMS) [46.937442239949256]
  本研究では,Large Language Models パイプライン LLM-GNN を用いたグラフ上でのラベルなしノード分類を導入する。 制限を緩和しながら、GNNとLLMの長所を反復する。 特に、LLM-GNNは1ドル未満の大規模データセットで74.9%の精度を達成できる。
  論文  参考訳（メタデータ） (2023-10-07T03:14:11Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。