論文の概要: Making Large Language Models Perform Better in Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2310.06671v1
• Date: Tue, 10 Oct 2023 14:47:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 15:08:24.164233
• Title: Making Large Language Models Perform Better in Knowledge Graph Completion
• Title（参考訳）: 知識グラフ補完における大規模言語モデルの性能向上
• Authors: Yichi Zhang, Zhuo Chen, Wen Zhang, Huajun Chen
• Abstract要約: 大言語モデル(LLM)に基づく知識グラフ補完(KGC)は、KGの欠落した三重項を予測することを目的としている。 我々は,KGにおけるエンティティと関係の構造情報を取得するための知識プレフィックスアダプタ(KoPA)を提案する。
• 参考スコア（独自算出の注目度）: 44.3724927274508
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language model (LLM) based knowledge graph completion (KGC) aims to predict the missing triples in the KGs with LLMs and enrich the KGs to become better web infrastructure, which can benefit a lot of web-based automatic services. However, research about LLM-based KGC is limited and lacks effective utilization of LLM's inference capabilities, which ignores the important structural information in KGs and prevents LLMs from acquiring accurate factual knowledge. In this paper, we discuss how to incorporate the helpful KG structural information into the LLMs, aiming to achieve structrual-aware reasoning in the LLMs. We first transfer the existing LLM paradigms to structural-aware settings and further propose a knowledge prefix adapter (KoPA) to fulfill this stated goal. KoPA employs structural embedding pre-training to capture the structural information of entities and relations in the KG. Then KoPA informs the LLMs of the knowledge prefix adapter which projects the structural embeddings into the textual space and obtains virtual knowledge tokens as a prefix of the input prompt. We conduct comprehensive experiments on these structural-aware LLM-based KGC methods and provide an in-depth analysis comparing how the introduction of structural information would be better for LLM's knowledge reasoning ability. Our code is released at https://github.com/zjukg/KoPA.
• Abstract（参考訳）: 大規模言語モデル(llm)ベースの知識グラフ補完(kgc)は、llmによるkgsの欠落トリプルの予測と、より優れたwebインフラストラクチャとなるためのkgsの強化を目的としている。 しかし、LLMに基づくKGCの研究は限られており、KGにおける重要な構造情報を無視し、LLMが正確な事実知識を得るのを防ぐLLMの推論能力の有効利用が欠如している。 本稿では,LLMにおける構造認識推論の実現を目的とした,有用なKG構造情報をLLMに組み込む方法について論じる。 まず、既存のLLMパラダイムを構造認識設定に転送し、さらにこの目標を達成するための知識プレフィックスアダプタ(KoPA)を提案する。 KoPAは、KGの実体と関係の構造情報を取得するために、構造的な埋め込み事前訓練を採用している。 そして、kopaは、構造埋め込みをテキスト空間に投影する知識プレフィックスアダプタのllmsを通知し、入力プロンプトのプレフィックスとして仮想知識トークンを取得する。 構造情報の導入がLLMの知識推論能力にどう影響するかを, 構造情報に基づくKGC手法の総合的な実験を行い, 詳細な分析を行った。 私たちのコードはhttps://github.com/zjukg/kopaでリリースしています。

関連論文リスト

• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• Reasoning Factual Knowledge in Structured Data with Large Language Models [26.00548862629018]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な進歩を遂げている。 構造化データには、事前学習に使われる非構造化テキストとは異なる独特の特徴がある。 本研究では,LLMの構造的推論能力を評価するためにStructFactというベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T08:05:09Z)
• Struct-X: Enhancing Large Language Models Reasoning with Structured Data [38.558614152006975]
  構造Xは5つの重要なフェーズを通して動作する:read-model-fill-reflect-reason' 構造化データをグラフ埋め込みを用いて位相空間にエンコードする。 行方不明のエンティティ情報を知識検索モジュールで埋める。 最後のフェーズでは、選択したトークンでトポロジネットワークを構築する。
  論文  参考訳（メタデータ） (2024-07-17T13:06:25Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  大規模言語モデル(LLM)の処理と知識グラフ(KG)の解釈について検討する。 リテラルレベルでは、様々な入力形式に対するLLMの好みを明らかにする。 注意分布レベルでは、これらの嗜好を駆動するメカニズムについて論じる。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling [34.59678835272862]
  代表的大規模言語モデル(LLM)であるChatGPTは、その強力な創発的能力のために注目されている。 本稿では,知識グラフ強化大言語モデル(KGLLM)によるLLMの強化を提案する。 KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2023-06-20T12:21:06Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。