論文の概要: Making Large Language Models Perform Better in Knowledge Graph Completion
- arxiv url: http://arxiv.org/abs/2310.06671v2
- Date: Sun, 14 Apr 2024 05:30:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 23:37:19.053561
- Title: Making Large Language Models Perform Better in Knowledge Graph Completion
- Title(参考訳): 知識グラフ補完における大規模言語モデルの性能向上
- Authors: Yichi Zhang, Zhuo Chen, Lingbing Guo, Yajing Xu, Wen Zhang, Huajun Chen,
- Abstract要約: 大言語モデル(LLM)に基づく知識グラフ補完(KGC)は、LLMによるKGの欠落を予測することを目的としている。
本稿では,LLMに構造情報を組み込む手法について検討する。
- 参考スコア(独自算出の注目度): 42.175953129260236
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language model (LLM) based knowledge graph completion (KGC) aims to predict the missing triples in the KGs with LLMs. However, research about LLM-based KGC fails to sufficiently harness LLMs' inference proficiencies, overlooking critical structural information integral to KGs. In this paper, we explore methods to incorporate structural information into the LLMs, with the overarching goal of facilitating structure-aware reasoning. We first discuss on the existing LLM paradigms like in-context learning and instruction tuning, proposing basic structural information injection approaches. Then we propose a Knowledge Prefix Adapter (KoPA) to fulfill this stated goal. The KoPA uses a structural pre-training phase to comprehend the intricate entities and relations within KGs, representing them as structural embeddings. Then KoPA communicates such cross-modal structural information understanding to the LLMs through a knowledge prefix adapter which projects the structural embeddings into the textual space and obtains virtual knowledge tokens positioned as a prefix of the input prompt. We conduct comprehensive experiments and provide incisive analysis concerning how the introduction of cross-modal structural information would be better for LLM's factual knowledge reasoning ability. Our code and data are available at https://github.com/zjukg/KoPA .
- Abstract(参考訳): 大言語モデル(LLM)に基づく知識グラフ補完(KGC)は、LLMによるKGの欠落を予測することを目的としている。
しかし、LLMに基づくKGCの研究は、KGsに不可欠な重要な構造情報を見越して、LLMの推論精度を十分に活用することができない。
本稿では,LLMに構造情報を組み込む手法について検討する。
まず,従来のLLMパラダイムであるインコンテキスト学習とインストラクションチューニングについて論じ,基本構造情報注入手法を提案する。
次に、この目標を達成するための知識事前修正アダプタ(KoPA)を提案する。
KoPAは、構造的な事前学習フェーズを使用して、KG内の複雑な実体と関係を理解し、それらを構造的な埋め込みとして表現している。
次に、KoPAは、その構造埋め込みをテキスト空間に投影する知識プレフィックスアダプタを介して、LCMに対してそのようなクロスモーダルな構造情報理解を通信し、入力プロンプトのプレフィックスとして位置付けられた仮想知識トークンを取得する。
我々は総合的な実験を行い、LLMの事実的知識推論能力に対して、クロスモーダルな構造情報の導入がいかに優れているかという切迫した分析を行った。
私たちのコードとデータはhttps://github.com/zjukg/KoPA で公開されています。
関連論文リスト
- A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。
KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。
KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。
CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
論文 参考訳(メタデータ) (2024-03-11T03:42:03Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - A Survey on Knowledge Distillation of Large Language Models [102.84645991075283]
知識蒸留(KD)は、高度な能力をオープンソースモデルに転送するための重要な方法論である。
本稿では,大規模言語モデル(LLM)の領域におけるKDの役割を包括的に調査する。
論文 参考訳(メタデータ) (2024-02-20T16:17:37Z) - Counter-intuitive: Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
本稿では、知識グラフ(KG)を用いて、大規模言語モデル(LLM)推論機能の実現と幻覚の低減を図る。
我々は、複雑な質問応答(CQA)を用いて、LLMのKG知識の理解能力を評価する。
初期の期待とは対照的に,LLMは乱雑でノイズが多く,線形化されたKGの知識を効果的に扱えることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-18T10:44:03Z) - Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs
for Fact-aware Language Modeling [34.59678835272862]
代表的大規模言語モデル(LLM)であるChatGPTは、その強力な創発的能力のために注目されている。
本稿では,知識グラフ強化大言語モデル(KGLLM)によるLLMの強化を提案する。
KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。
論文 参考訳(メタデータ) (2023-06-20T12:21:06Z) - Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。
知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
論文 参考訳(メタデータ) (2023-06-14T07:15:26Z) - Language Models as Knowledge Embeddings [26.384327693266837]
本稿では,言語モデルを用いて知識埋め込みを導出するLMKEを提案する。
我々は、記述に基づくKE学習を対照的な学習フレームワークで定式化し、トレーニングと評価の効率を向上させる。
論文 参考訳(メタデータ) (2022-06-25T10:39:12Z) - Knowledgeable Salient Span Mask for Enhancing Language Models as
Knowledge Base [51.55027623439027]
我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。
最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
論文 参考訳(メタデータ) (2022-04-17T12:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。