論文の概要: In-Context Learning with Topological Information for Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2412.08742v1
• Date: Wed, 11 Dec 2024 19:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:24.898467
• Title: In-Context Learning with Topological Information for Knowledge Graph Completion
• Title（参考訳）: 知識グラフ補完のためのトポロジ情報を用いたインテクスト学習
• Authors: Udari Madhushani Sehwag, Kassiani Papasotiriou, Jared Vann, Sumitra Ganesh,
• Abstract要約: 我々は,知識グラフの性能を向上させるために,文脈内学習を通じてトポロジ情報を組み込む新しい手法を開発した。 提案手法は,テストグラフデータセット内のノードがトレーニンググラフデータセットに存在するような,トランスダクティブな設定において,高いパフォーマンスを実現する。 提案手法は,ILPC小データセットとILPC大データセットのベースラインよりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 3.035601871864059
• License:
• Abstract: Knowledge graphs (KGs) are crucial for representing and reasoning over structured information, supporting a wide range of applications such as information retrieval, question answering, and decision-making. However, their effectiveness is often hindered by incompleteness, limiting their potential for real-world impact. While knowledge graph completion (KGC) has been extensively studied in the literature, recent advances in generative AI models, particularly large language models (LLMs), have introduced new opportunities for innovation. In-context learning has recently emerged as a promising approach for leveraging pretrained knowledge of LLMs across a range of natural language processing tasks and has been widely adopted in both academia and industry. However, how to utilize in-context learning for effective KGC remains relatively underexplored. We develop a novel method that incorporates topological information through in-context learning to enhance KGC performance. By integrating ontological knowledge and graph structure into the context of LLMs, our approach achieves strong performance in the transductive setting i.e., nodes in the test graph dataset are present in the training graph dataset. Furthermore, we apply our approach to KGC in the more challenging inductive setting, i.e., nodes in the training graph dataset and test graph dataset are disjoint, leveraging the ontology to infer useful information about missing nodes which serve as contextual cues for the LLM during inference. Our method demonstrates superior performance compared to baselines on the ILPC-small and ILPC-large datasets.
• Abstract（参考訳）: 知識グラフ(KG)は構造化された情報の表現と推論に不可欠であり、情報検索、質問応答、意思決定など幅広いアプリケーションをサポートする。 しかし、それらの効果はしばしば不完全性によって妨げられ、現実世界への影響の可能性を制限する。 知識グラフ補完(KGC)は文献で広く研究されているが、生成型AIモデル、特に大規模言語モデル(LLM)の最近の進歩は、イノベーションの新たな機会をもたらしている。 In-context Learningは、最近、自然言語処理タスクの多岐にわたるLLMの事前訓練された知識を活用するための有望なアプローチとして現れ、学術と産業の両方で広く採用されている。 しかし, 実効KGCにおける文脈内学習の活用法は, いまだに未検討である。 我々は,KGC性能を向上させるために,文脈内学習を通じてトポロジ情報を組み込む新しい手法を開発した。 LLMの文脈に存在論的知識とグラフ構造を統合することで、テストグラフデータセット内のノードがトレーニンググラフデータセットに存在するような、トランスダクティブな設定において、高いパフォーマンスを実現することができる。 さらに、トレーニンググラフデータセットとテストグラフデータセットのノードは非結合であり、オントロジーを利用して、推論中にLLMのコンテキストキューとして機能する欠落ノードに関する有用な情報を推測する。 提案手法は,ILPC小データセットとILPC大データセットのベースラインよりも優れた性能を示す。

関連論文リスト

• Graph Foundation Models for Recommendation: A Comprehensive Survey [55.70529188101446]
  大規模言語モデル(LLM)は自然言語を処理し、理解するために設計されており、どちらも非常に効果的で広く採用されている。 最近の研究はグラフ基礎モデル(GFM)に焦点を当てている。 GFM は GNN と LLM の強みを統合し,複雑な RS 問題をより効率的にモデル化する。
  論文  参考訳（メタデータ） (2025-02-12T12:13:51Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Enhancing Graph Neural Networks with Limited Labeled Data by Actively Distilling Knowledge from Large Language Models [30.867447814409623]
  グラフニューラルネットワーク(GNN)は、グラフの基本課題であるノード分類において優れた能力を持つ。 本稿では,Large Language Models(LLM)とGNNを統合する新しい手法を提案する。 我々のモデルでは,ラベル付きデータによるノード分類精度を著しく向上し,最先端のベースラインをかなりのマージンで超えた。
  論文  参考訳（メタデータ） (2024-07-19T02:34:10Z)
• G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
  本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。 特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。 その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
  論文  参考訳（メタデータ） (2024-05-09T08:28:12Z)
• LLM-Enhanced User-Item Interactions: Leveraging Edge Information for Optimized Recommendations [28.77605585519833]
  近年の人気のある研究分野であるグラフニューラルネットワークは、関係マイニングについて多くの研究を行っている。 グラフニューラルネットワークにおける現在の最先端の研究は、大きな言語モデルと効果的に統合されていない。 本稿では,LLMの強い文脈表現能力とGNNの関係抽出と解析機能を組み合わせた,革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-14T23:12:09Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Efficient End-to-end Language Model Fine-tuning on Graphs [21.23522552579571]
  Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。 我々は,TAG上での言語モデルのエンドツーエンドな微調整のための,新規かつ効率的なアプローチであるLEAdingを紹介する。 提案手法は,Ogbn-arxiv のリーダーボード上で,最先端のSOTA(State-of-the-art)を達成し,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-07T22:35:16Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Iterative Zero-Shot LLM Prompting for Knowledge Graph Construction [104.29108668347727]
  本稿では,最新の生成型大規模言語モデルの可能性を活用する,革新的な知識グラフ生成手法を提案する。 このアプローチは、新しい反復的なゼロショットと外部知識に依存しない戦略を含むパイプラインで伝達される。 我々は、我々の提案がスケーラブルで多目的な知識グラフ構築に適したソリューションであり、異なる新しい文脈に適用できると主張している。
  論文  参考訳（メタデータ） (2023-07-03T16:01:45Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Quantifying Challenges in the Application of Graph Representation Learning [0.0]
  私たちは、一般的な埋め込みアプローチのセットに対して、アプリケーション指向の視点を提供します。 実世界のグラフ特性に関する表現力を評価する。 GRLアプローチは現実のシナリオでは定義が困難であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-18T03:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。