論文の概要: Node Importance Estimation Leveraging LLMs for Semantic Augmentation in Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2412.00478v1
• Date: Sat, 30 Nov 2024 13:32:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:44.901706
• Title: Node Importance Estimation Leveraging LLMs for Semantic Augmentation in Knowledge Graphs
• Title（参考訳）: 知識グラフにおける意味拡張のためのLLMを用いたノード重要度推定
• Authors: Xinyu Lin, Tianyu Zhang, Chengbin Hou, Jinbao Wang, Jianye Xue, Hairong Lv,
• Abstract要約: Node Importance Estimation (NIE) は、グラフ内のノードの重要性を定量化するタスクである。 近年の研究では、ノードの重要度を推定するために知識グラフ(KG)から様々な情報を利用する方法が研究されている。 我々はLLMの余分な知識とLLMとKGの両方の知識を統合する能力のおかげで、意味拡張にLarge Language Models(LLMs)を利用する。
• 参考スコア（独自算出の注目度）: 18.1882779032972
• License:
• Abstract: Node Importance Estimation (NIE) is a task that quantifies the importance of node in a graph. Recent research has investigated to exploit various information from Knowledge Graphs (KGs) to estimate node importance scores. However, the semantic information in KGs could be insufficient, missing, and inaccurate, which would limit the performance of existing NIE models. To address these issues, we leverage Large Language Models (LLMs) for semantic augmentation thanks to the LLMs' extra knowledge and ability of integrating knowledge from both LLMs and KGs. To this end, we propose the LLMs Empowered Node Importance Estimation (LENIE) method to enhance the semantic information in KGs for better supporting NIE tasks. To our best knowledge, this is the first work incorporating LLMs into NIE. Specifically, LENIE employs a novel clustering-based triplet sampling strategy to extract diverse knowledge of a node sampled from the given KG. After that, LENIE adopts the node-specific adaptive prompts to integrate the sampled triplets and the original node descriptions, which are then fed into LLMs for generating richer and more precise augmented node descriptions. These augmented descriptions finally initialize node embeddings for boosting the downstream NIE model performance. Extensive experiments demonstrate LENIE's effectiveness in addressing semantic deficiencies in KGs, enabling more informative semantic augmentation and enhancing existing NIE models to achieve the state-of-the-art performance. The source code of LENIE is freely available at \url{https://github.com/XinyuLin-FZ/LENIE}.
• Abstract（参考訳）: Node Importance Estimation (NIE) は、グラフ内のノードの重要性を定量化するタスクである。 近年の研究では、ノードの重要度を推定するために知識グラフ(KG)から様々な情報を利用する方法が研究されている。 しかし、KGのセマンティック情報は不十分で、欠落し、不正確なため、既存のNIEモデルの性能が制限される可能性がある。 これらの問題に対処するために,LLM の余分な知識と LLM と KG の両方から知識を統合する能力のおかげで,意味拡張にLarge Language Models (LLM) を利用する。 そこで本研究では,NIEタスクのサポート向上のために,KGにおける意味情報を強化するLLMs Empowered Node Importance Estimation (LENIE)手法を提案する。 私たちの知る限りでは、ALMをNIEに組み込んだ最初の作品です。 特に、LENIEは、与えられたKGからサンプリングされたノードの多様な知識を抽出するために、クラスタリングに基づく新しいトリプルトサンプリング戦略を採用している。 その後、LENIEは、サンプリングされた三つ子と元のノード記述を統合するためにノード固有の適応プロンプトを採用し、よりリッチでより正確な拡張ノード記述を生成するためにLLMに供給される。 これらの拡張記述は、ダウンストリームのNIEモデルのパフォーマンスを高めるためにノード埋め込みを最終的に初期化する。 大規模な実験は、KGのセマンティックな欠陥に対処するLENIEの有効性を示し、より情報的なセマンティックな拡張を可能にし、既存のNIEモデルを拡張して最先端のパフォーマンスを実現する。 LENIEのソースコードは \url{https://github.com/XinyuLin-FZ/LENIE} で自由に入手できる。

関連論文リスト

• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Label-free Node Classification on Graphs with Large Language Models (LLMS) [46.937442239949256]
  本研究では,Large Language Models パイプライン LLM-GNN を用いたグラフ上でのラベルなしノード分類を導入する。 制限を緩和しながら、GNNとLLMの長所を反復する。 特に、LLM-GNNは1ドル未満の大規模データセットで74.9%の精度を達成できる。
  論文  参考訳（メタデータ） (2023-10-07T03:14:11Z)
• Graph Neural Prompting with Large Language Models [32.97391910476073]
  Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。 複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
  論文  参考訳（メタデータ） (2023-09-27T06:33:29Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。