論文の概要: Leveraging Large Language Models for Effective Label-free Node Classification in Text-Attributed Graphs

• arxiv url: http://arxiv.org/abs/2412.11983v2
• Date: Mon, 28 Apr 2025 12:17:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 18:43:11.051139
• Title: Leveraging Large Language Models for Effective Label-free Node Classification in Text-Attributed Graphs
• Title（参考訳）: テキスト分散グラフにおけるラベルなしノードの効果的な分類のための大規模言語モデルの活用
• Authors: Taiyan Zhang, Renchi Yang, Yurui Lai, Mingyu Yan, Xiaochun Ye, Dongrui Fan,
• Abstract要約: Locleは、LLMによるラベルなしノード分類を費用対効果で行う、アクティブなセルフトレーニングフレームワークである。 これは、GNNを用いて少数の「クリティカル」サンプルを反復的に識別し、LLMとGNNの両方で情報的擬似ラベルを抽出する。 ラベルのないノード分類では、同じクエリ予算で最先端のメソッドをLLMに大幅に上回ります。
• 参考スコア（独自算出の注目度）: 10.538099379851198
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Graph neural networks (GNNs) have become the preferred models for node classification in graph data due to their robust capabilities in integrating graph structures and attributes. However, these models heavily depend on a substantial amount of high-quality labeled data for training, which is often costly to obtain. With the rise of large language models (LLMs), a promising approach is to utilize their exceptional zero-shot capabilities and extensive knowledge for node labeling. Despite encouraging results, this approach either requires numerous queries to LLMs or suffers from reduced performance due to noisy labels generated by LLMs. To address these challenges, we introduce Locle, an active self-training framework that does Label-free node Classification with LLMs cost-Effectively. Locle iteratively identifies small sets of "critical" samples using GNNs and extracts informative pseudo-labels for them with both LLMs and GNNs, serving as additional supervision signals to enhance model training. Specifically, Locle comprises three key components: (i) an effective active node selection strategy for initial annotations; (ii) a careful sample selection scheme to identify "critical" nodes based on label disharmonicity and entropy; and (iii) a label refinement module that combines LLMs and GNNs with a rewired topology. Extensive experiments on five benchmark text-attributed graph datasets demonstrate that Locle significantly outperforms state-of-the-art methods under the same query budget to LLMs in terms of label-free node classification. Notably, on the DBLP dataset with 14.3k nodes, Locle achieves an 8.08% improvement in accuracy over the state-of-the-art at a cost of less than one cent. Our code is available at https://github.com/HKBU-LAGAS/Locle.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造と属性の統合における堅牢性のため、グラフデータのノード分類に好まれるモデルとなっている。 しかし、これらのモデルはトレーニングのための大量の高品質なラベル付きデータに依存しており、しばしば入手するのにコストがかかる。 大規模言語モデル(LLM)の台頭により、期待できるアプローチは、例外的なゼロショット機能と、ノードラベリングのための広範な知識を活用することである。 好意的な結果にもかかわらず、このアプローチはLLMに対して多数のクエリを必要とするか、LLMが生成するノイズの多いラベルによるパフォーマンス低下に悩まされる。 これらの課題に対処するために,LLMによるラベルなしノード分類をコスト効率よく行う,アクティブな自己学習フレームワークであるLocleを紹介した。 Locleは、GNNを使用して小さな"クリティカル"サンプルを反復的に識別し、LLMとGNNの両方で情報的な擬似ラベルを抽出し、モデルトレーニングを強化するための追加の監視信号として機能する。 具体的には、Locleは3つの重要なコンポーネントから構成される。 (i)初期アノテーションの有効なアクティブノード選択戦略 二 ラベル不整合性及びエントロピーに基づく「クリティカル」ノードを特定するための慎重なサンプル選択方式 3) LLMとGNNと再配線トポロジーを組み合わせたラベルリファインメントモジュール。 5つのベンチマークテキスト分散グラフデータセットに対する大規模な実験により、Locleはラベルのないノード分類において、同じクエリ予算の下で最先端のメソッドをLLMに大幅に上回っていることが示された。 特に、14.3kノードを持つDBLPデータセットにおいて、Locleは1セント未満のコストで最先端の精度を8.08%改善した。 私たちのコードはhttps://github.com/HKBU-LAGAS/Locle.comで公開されています。

関連論文リスト

• Few-Shot Graph Out-of-Distribution Detection with LLMs [34.42512005781724]
  本稿では,大規模言語モデル (LLM) とグラフニューラルネットワーク (GNN) の長所を組み合わせたフレームワークを提案する。 LLM-GOODは人間のアノテーションのコストを大幅に削減し、ID分類精度とOOD検出性能の両方において最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-03-28T02:37:18Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Similarity-based Neighbor Selection for Graph LLMs [43.176381523196426]
  類似性に基づく近隣選択(SNS)について紹介する。 SNSは、選択した隣人の品質を改善し、グラフ表現を改善し、オーバースカッシングやヘテロフィリーといった問題を緩和する。 インダクティブでトレーニングのないアプローチとして、SNSは従来のGNN手法よりも優れた一般化とスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-06T05:29:05Z)
• Label-free Node Classification on Graphs with Large Language Models (LLMS) [46.937442239949256]
  本研究では,Large Language Models パイプライン LLM-GNN を用いたグラフ上でのラベルなしノード分類を導入する。 制限を緩和しながら、GNNとLLMの長所を反復する。 特に、LLM-GNNは1ドル未満の大規模データセットで74.9%の精度を達成できる。
  論文  参考訳（メタデータ） (2023-10-07T03:14:11Z)
• Balancing Efficiency vs. Effectiveness and Providing Missing Label Robustness in Multi-Label Stream Classification [3.97048491084787]
  ニューラルネットワークを用いた高次元多ラベル分類手法を提案する。 本モデルは,非定常環境に適した選択的なドリフト適応機構を用いる。 我々は,単純で効果的な計算手法を用いて,ラベルを欠いた環境に適応する。
  論文  参考訳（メタデータ） (2023-10-01T13:23:37Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Label-Enhanced Graph Neural Network for Semi-supervised Node Classification [32.64730237473914]
  グラフニューラルネットワーク(GNN)のためのラベル強化学習フレームワークを提案する。 まず、各ラベルをクラス内のノードの仮想センターとしてモデル化し、次にノードとラベルの両方の表現を共同で学習する。 提案手法は,同一クラスに属するノードの表現を円滑に行うだけでなく,ラベルセマンティクスをGNNの学習プロセスに明示的にエンコードする。
  論文  参考訳（メタデータ） (2022-05-31T09:48:47Z)
• Active Learning for Node Classification: The Additional Learning Ability from Unlabelled Nodes [33.97571297149204]
  ラベル付け予算が限られているため、active learningはラベル付けするノードを慎重に選択することで、パフォーマンスの向上を目指している。 本研究は,ノード分類のための既存のアクティブラーニング手法が,単純な手法でかなり優れていることを示す。 ノード分類のための新しい潜在空間クラスタリングに基づくアクティブラーニング手法(LSCALE)を提案する。
  論文  参考訳（メタデータ） (2020-12-13T13:59:48Z)
• Delving Deep into Label Smoothing [112.24527926373084]
  ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化 対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
  論文  参考訳（メタデータ） (2020-11-25T08:03:11Z)
• Cyclic Label Propagation for Graph Semi-supervised Learning [52.102251202186025]
  本稿では,CycPropと呼ばれるグラフ半教師付き学習のための新しいフレームワークを提案する。 CycPropはGNNを周期的かつ相互に強化された方法でラベル伝播の過程に統合する。 特に,提案するCycPropでは,GNNモジュールが学習したノード埋め込みをラベル伝搬による拡張情報で更新する。
  論文  参考訳（メタデータ） (2020-11-24T02:55:40Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。