論文の概要: Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs

• arxiv url: http://arxiv.org/abs/2310.09872v2
• Date: Tue, 10 Dec 2024 16:06:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:33:29.851468
• Title: Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs
• Title（参考訳）: テキスト分散グラフを用いたFew-Shot学習におけるノード生成のための大規模言語モデルの活用
• Authors: Jianxiang Yu, Yuxiang Ren, Chenghua Gong, Jiaqi Tan, Xiang Li, Xuecang Zhang,
• Abstract要約: 本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 LLMはラベルから意味情報を抽出し、模範としてカテゴリに属するサンプルを生成する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。
• 参考スコア（独自算出の注目度）: 5.587264586806575
• License:
• Abstract: Text-attributed graphs have recently garnered significant attention due to their wide range of applications in web domains. Existing methodologies employ word embedding models for acquiring text representations as node features, which are subsequently fed into Graph Neural Networks (GNNs) for training. Recently, the advent of Large Language Models (LLMs) has introduced their powerful capabilities in information retrieval and text generation, which can greatly enhance the text attributes of graph data. Furthermore, the acquisition and labeling of extensive datasets are both costly and time-consuming endeavors. Consequently, few-shot learning has emerged as a crucial problem in the context of graph learning tasks. In order to tackle this challenge, we propose a lightweight paradigm called LLM4NG, which adopts a plug-and-play approach to empower text-attributed graphs through node generation using LLMs. Specifically, we utilize LLMs to extract semantic information from the labels and generate samples that belong to these categories as exemplars. Subsequently, we employ an edge predictor to capture the structural information inherent in the raw dataset and integrate the newly generated samples into the original graph. This approach harnesses LLMs for enhancing class-level information and seamlessly introduces labeled nodes and edges without modifying the raw dataset, thereby facilitating the node classification task in few-shot scenarios. Extensive experiments demonstrate the outstanding performance of our proposed paradigm, particularly in low-shot scenarios. For instance, in the 1-shot setting of the ogbn-arxiv dataset, LLM4NG achieves a 76% improvement over the baseline model.
• Abstract（参考訳）: テキスト分散グラフは、Webドメインにおける広範囲のアプリケーションのために、最近大きな注目を集めている。 既存の手法では、単語埋め込みモデルを用いてテキスト表現をノードの特徴として取得し、訓練のためにグラフニューラルネットワーク(GNN)に入力する。 近年,Large Language Models (LLMs) の出現により,情報検索やテキスト生成において強力な能力が導入されている。 さらに、広範囲なデータセットの取得とラベル付けは、コストと時間を要する作業の両方です。 その結果、グラフ学習タスクの文脈において、いくつかのショットラーニングが重要な問題として浮上した。 この課題に対処するため,LLMを用いたノード生成によるテキスト分散グラフの強化を目的とした,LLM4NGという軽量なパラダイムを提案する。 具体的には、LSMを用いてラベルから意味情報を抽出し、これらのカテゴリに属するサンプルを例示として生成する。 次に、エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。 このアプローチはLLMを利用してクラスレベルの情報を強化し、生のデータセットを変更することなくラベル付きノードとエッジをシームレスに導入することで、数ショットシナリオでのノード分類タスクを容易にする。 大規模な実験は、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。 例えば、ogbn-arxivデータセットの1ショット設定では、LLM4NGはベースラインモデルよりも76%改善されている。

関連論文リスト

• Deep Semantic Graph Learning via LLM based Node Enhancement [5.312946761836463]
  大規模言語モデル(LLM)は、テキストセマンティクスを理解する上で優れた能力を示している。 本稿では,グラフトランスフォーマーアーキテクチャとLLM拡張ノード機能を組み合わせた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-11T21:55:46Z)
• Let's Ask GNN: Empowering Large Language Model for Graph In-Context Learning [28.660326096652437]
  本稿では,逐次テキスト処理とグラフ構造化データのギャップを埋める新しいアプローチであるAskGNNを紹介する。 AskGNNはグラフニューラルネットワーク(GNN)を利用した構造強化レトリバーを使用して、グラフをまたいだラベル付きノードを選択する。 3つのタスクと7つのLLMにわたる実験は、グラフタスクのパフォーマンスにおいてAskGNNが優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T17:19:12Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• STAGE: Simplified Text-Attributed Graph Embeddings Using Pre-trained LLMs [1.4624458429745086]
  テキスト分散グラフ(TAG)を符号化するグラフニューラルネットワーク(GNN)モデルにおけるノード機能向上手法を提案する。 本手法では,Large-Language Models (LLMs) を用いてテキスト属性の埋め込みを生成する。 我々は,事前学習したLLMを埋め込みジェネレータとして利用することにより,GNNのアンサンブルトレーニングに堅牢な機能を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-10T08:50:25Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。