論文の概要: KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases

• arxiv url: http://arxiv.org/abs/2308.11761v1
• Date: Thu, 17 Aug 2023 13:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-27 04:37:32.359828
• Title: KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases
• Title（参考訳）: KnowledGPT:知識ベースでの検索とストレージアクセスによる大規模言語モデルの強化
• Authors: Xintao Wang, Qianwen Yang, Yongting Qiu, Jiaqing Liang, Qianyu He, Zhouhong Gu, Yanghua Xiao, Wei Wang
• Abstract要約: KnowledGPTは、様々な知識ベースで大きな言語モデルをブリッジするための包括的なフレームワークである。 検索プロセスでは思考プロンプトプログラムを使用し,KBの検索言語をコード形式で生成する。 KnowledGPTは、個々のユーザ要求に合わせて、知識をパーソナライズされたKBに格納する機能を提供する。
• 参考スコア（独自算出の注目度）: 55.942342665806656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated impressive impact in the field of natural language processing, but they still struggle with several issues regarding, such as completeness, timeliness, faithfulness and adaptability. While recent efforts have focuses on connecting LLMs with external knowledge sources, the integration of knowledge bases (KBs) remains understudied and faces several challenges. In this paper, we introduce KnowledGPT, a comprehensive framework to bridge LLMs with various knowledge bases, facilitating both the retrieval and storage of knowledge. The retrieval process employs the program of thought prompting, which generates search language for KBs in code format with pre-defined functions for KB operations. Besides retrieval, KnowledGPT offers the capability to store knowledge in a personalized KB, catering to individual user demands. With extensive experiments, we show that by integrating LLMs with KBs, KnowledGPT properly answers a broader range of questions requiring world knowledge compared with vanilla LLMs, utilizing both knowledge existing in widely-known KBs and extracted into personalized KBs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理の分野で印象的な影響を示しているが、完全性、タイムライン、忠実性、適応性など、いくつかの問題に苦慮している。 近年、LLMと外部知識ソースの連携に重点を置いているが、知識ベース(KB)の統合は未検討であり、いくつかの課題に直面している。 本稿では,LLMを様々な知識ベースでブリッジする包括的なフレームワークであるKnowledGPTを紹介し,知識の検索と保存を容易にする。 検索プロセスは思考プロンプトのプログラムを用いており、kb操作のための事前定義された関数を持つコード形式のkbの検索言語を生成する。 検索に加えて、nowledgptは知識をパーソナライズされたkbに格納する機能を提供し、個々のユーザの要求に応える。 広範にわたる実験により,LLMをKBと統合することにより,KnowledGPTは,広く知られているKBに存在する知識とパーソナライズされたKBに抽出された知識の両方を利用して,バニラLPMと比較して,世界知識を必要とする幅広い質問に適切に答えることを示した。

関連論文リスト

• KBLaM: Knowledge Base augmented Language Model [8.247901935078357]
  外部知識を用いた大規模言語モデル拡張のための知識ベース拡張言語モデル(KBLaM)を提案する。 KBLaMは文書のコーパスから構築された知識ベースで動作し、KB内の各知識を連続キー値ベクトル対に変換する。 KBLaMの様々なタスクにおける有効性を示す実験は、質問応答やオープンエンド推論などである。
  論文  参考訳（メタデータ） (2024-10-14T12:45:10Z)
• Cross-Lingual Multi-Hop Knowledge Editing -- Benchmarks, Analysis and a Simple Contrastive Learning based Approach [53.028586843468915]
  言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。 具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。 次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
  論文  参考訳（メタデータ） (2024-07-14T17:18:16Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• Can Language Models Act as Knowledge Bases at Scale? [24.99538360485476]
  大規模言語モデル(LLM)は、複雑なクエリに対する応答の理解と生成に顕著な習熟性を示している。 本研究は,LLMがWikidataなどの最新の知識ベース(KB)に匹敵する大規模知識を効果的に保存し,リコールし,理性を持つことができるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-02-22T04:20:14Z)
• KnowGPT: Knowledge Graph based Prompting for Large Language Models [28.605161596626875]
  本稿では,知識グラフに基づく PrompTing フレームワーク,すなわち KnowGPT を導入し,ドメイン知識で大規模言語モデルを強化する。 KnowGPTには、KGから最も情報性の高い知識を抽出する知識抽出モジュールと、抽出した知識を自動的に効果的なプロンプトに変換するコンテキスト対応プロンプト構築モジュールが含まれている。 KnowGPTはOpenbookQAのリーダーボードで92.6%の精度を実現している。
  論文  参考訳（メタデータ） (2023-12-11T07:56:25Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• Knowledge Prompting in Pre-trained Language Model for Natural Language Understanding [24.315130086787374]
  知識プロンプトに基づく PLM フレームワーク KP-PLM を提案する。 このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。 これらのプロンプトから事実知識を更に活用するために,我々は2つの新しい知識認識型自己監督タスクを提案する。
  論文  参考訳（メタデータ） (2022-10-16T13:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。