論文の概要: Making Large Language Models Perform Better in Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2310.06671v2
• Date: Sun, 14 Apr 2024 05:30:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 23:37:19.053561
• Title: Making Large Language Models Perform Better in Knowledge Graph Completion
• Title（参考訳）: 知識グラフ補完における大規模言語モデルの性能向上
• Authors: Yichi Zhang, Zhuo Chen, Lingbing Guo, Yajing Xu, Wen Zhang, Huajun Chen,
• Abstract要約: 大言語モデル(LLM)に基づく知識グラフ補完(KGC)は、LLMによるKGの欠落を予測することを目的としている。 本稿では,LLMに構造情報を組み込む手法について検討する。
• 参考スコア（独自算出の注目度）: 42.175953129260236
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language model (LLM) based knowledge graph completion (KGC) aims to predict the missing triples in the KGs with LLMs. However, research about LLM-based KGC fails to sufficiently harness LLMs' inference proficiencies, overlooking critical structural information integral to KGs. In this paper, we explore methods to incorporate structural information into the LLMs, with the overarching goal of facilitating structure-aware reasoning. We first discuss on the existing LLM paradigms like in-context learning and instruction tuning, proposing basic structural information injection approaches. Then we propose a Knowledge Prefix Adapter (KoPA) to fulfill this stated goal. The KoPA uses a structural pre-training phase to comprehend the intricate entities and relations within KGs, representing them as structural embeddings. Then KoPA communicates such cross-modal structural information understanding to the LLMs through a knowledge prefix adapter which projects the structural embeddings into the textual space and obtains virtual knowledge tokens positioned as a prefix of the input prompt. We conduct comprehensive experiments and provide incisive analysis concerning how the introduction of cross-modal structural information would be better for LLM's factual knowledge reasoning ability. Our code and data are available at https://github.com/zjukg/KoPA .
• Abstract（参考訳）: 大言語モデル(LLM)に基づく知識グラフ補完(KGC)は、LLMによるKGの欠落を予測することを目的としている。 しかし、LLMに基づくKGCの研究は、KGsに不可欠な重要な構造情報を見越して、LLMの推論精度を十分に活用することができない。 本稿では,LLMに構造情報を組み込む手法について検討する。 まず,従来のLLMパラダイムであるインコンテキスト学習とインストラクションチューニングについて論じ,基本構造情報注入手法を提案する。 次に、この目標を達成するための知識事前修正アダプタ(KoPA)を提案する。 KoPAは、構造的な事前学習フェーズを使用して、KG内の複雑な実体と関係を理解し、それらを構造的な埋め込みとして表現している。 次に、KoPAは、その構造埋め込みをテキスト空間に投影する知識プレフィックスアダプタを介して、LCMに対してそのようなクロスモーダルな構造情報理解を通信し、入力プロンプトのプレフィックスとして位置付けられた仮想知識トークンを取得する。 我々は総合的な実験を行い、LLMの事実的知識推論能力に対して、クロスモーダルな構造情報の導入がいかに優れているかという切迫した分析を行った。 私たちのコードとデータはhttps://github.com/zjukg/KoPA で公開されています。

関連論文リスト

• Reasoning Factual Knowledge in Structured Data with Large Language Models [26.00548862629018]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な進歩を遂げている。 構造化データには、事前学習に使われる非構造化テキストとは異なる独特の特徴がある。 本研究では,LLMの構造的推論能力を評価するためにStructFactというベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T08:05:09Z)
• Struct-X: Enhancing Large Language Models Reasoning with Structured Data [38.558614152006975]
  構造Xは5つの重要なフェーズを通して動作する:read-model-fill-reflect-reason' 構造化データをグラフ埋め込みを用いて位相空間にエンコードする。 行方不明のエンティティ情報を知識検索モジュールで埋める。 最後のフェーズでは、選択したトークンでトポロジネットワークを構築する。
  論文  参考訳（メタデータ） (2024-07-17T13:06:25Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• A Survey on Knowledge Distillation of Large Language Models [99.11900233108487]
  知識蒸留(KD)は、高度な能力をオープンソースモデルに転送するための重要な方法論である。 本稿では,大規模言語モデル(LLM)の領域におけるKDの役割を包括的に調査する。
  論文  参考訳（メタデータ） (2024-02-20T16:17:37Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  知識グラフ(KG) モデルパラメータの埋め込みはますますコストがかかる。 現在のプロンプト方式は、しばしばトライアル・アンド・エラー方式に依存している。 非順序線形化三重項は、流線型NLテキストと比較して、LLMのKG理解に有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling [34.59678835272862]
  代表的大規模言語モデル(LLM)であるChatGPTは、その強力な創発的能力のために注目されている。 本稿では,知識グラフ強化大言語モデル(KGLLM)によるLLMの強化を提案する。 KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2023-06-20T12:21:06Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。