論文の概要: KB-Plugin: A Plug-and-play Framework for Large Language Models to Induce Programs over Low-resourced Knowledge Bases

• arxiv url: http://arxiv.org/abs/2402.01619v1
• Date: Fri, 2 Feb 2024 18:32:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 13:49:07.079532
• Title: KB-Plugin: A Plug-and-play Framework for Large Language Models to Induce Programs over Low-resourced Knowledge Bases
• Title（参考訳）: KB-Plugin:低リソースの知識ベース上でプログラムを誘導する大規模言語モデルのためのプラグイン・アンド・プレイフレームワーク
• Authors: Jiajie Zhang, Shulin Cao, Linmei Hu, Ling Feng, Lei Hou, Juanzi Li
• Abstract要約: プログラム誘導(PI)は、知識ベース(KB)を使用して、大規模言語モデル(LLM)が複雑な質問に答える上で、有望なパラダイムとなっている。 我々は,LLMが低リソースKB上でプログラムを誘導できるプラグイン・アンド・プレイフレームワークKB-resourcedを提案する。
• 参考スコア（独自算出の注目度）: 49.010104412978436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Program induction (PI) has become a promising paradigm for using knowledge bases (KBs) to help large language models (LLMs) answer complex knowledge-intensive questions. Nonetheless, PI typically relies on a large number of parallel question-program pairs to make the LLM aware of the schema of the given KB, and is thus challenging for many low-resourced KBs that lack annotated data. To this end, we propose KB-Plugin, a plug-and-play framework that enables LLMs to induce programs over any low-resourced KB. Firstly, KB-Plugin adopts self-supervised learning to encode the detailed schema information of a given KB into a pluggable module, namely schema plugin. Secondly, KB-Plugin utilizes abundant annotated data from a rich-resourced KB to train another pluggable module, namely PI plugin, which can help the LLM extract question-relevant schema information from the schema plugin of any KB and utilize this information to induce programs over this KB. Experiments on five heterogeneous KBQA datasets show that KB-Plugin achieves better or comparable performance with 25$\times$ smaller backbone LLM compared to SoTA PI methods for low-resourced KBs, and even approaches the performance of supervised methods. Our code and data are available at https://github.com/THU-KEG/KB-Plugin.
• Abstract（参考訳）: プログラムインダクション(pi)は、大規模言語モデル(llm)が複雑な知識集約的な質問に答えるのを助けるために知識ベース(kbs)を使用する有望なパラダイムとなっている。 しかしながら、PIは通常、LLMが与えられたKBのスキーマを認識させるために、多数の並列な質問プログラムペアに依存しているため、注釈付きデータを持たない多くの低リソースKBでは困難である。 そこで我々は,llmが低リソースkbに対してプログラムを誘導できるプラグイン・アンド・プレイフレームワークkb-pluginを提案する。 まず、KB-Pluginは自己教師付き学習を採用し、特定のKBの詳細なスキーマ情報をプラグイン可能なモジュール、すなわちスキーマプラグインにエンコードする。 第2に、KB-PluginはリッチリソースKBからの豊富な注釈付きデータを利用して別のプラグインモジュール、つまりPIプラグインを訓練し、LLMは任意のKBのスキーマプラグインから質問関連スキーマ情報を抽出し、この情報を利用してKB上のプログラムを誘導する。 5つの異種KBQAデータセットの実験により、KB-Pluginは低リソースKBのSoTA PI法と比較して25$\times$小さいバックボーンLPMでより良いあるいは同等のパフォーマンスを達成し、教師付きメソッドのパフォーマンスにもアプローチしている。 私たちのコードとデータはhttps://github.com/thu-keg/kb-pluginで入手できます。

関連論文リスト

• KBLaM: Knowledge Base augmented Language Model [8.247901935078357]
  外部知識を用いた大規模言語モデル拡張のための知識ベース拡張言語モデル(KBLaM)を提案する。 KBLaMは文書のコーパスから構築された知識ベースで動作し、KB内の各知識を連続キー値ベクトル対に変換する。 KBLaMの様々なタスクにおける有効性を示す実験は、質問応答やオープンエンド推論などである。
  論文  参考訳（メタデータ） (2024-10-14T12:45:10Z)
• Few-shot Transfer Learning for Knowledge Base Question Answering: Fusing Supervised Models with In-Context Learning [20.80841972133938]
  既存の知識ベース質問回答(KBQA)アーキテクチャは、注釈付きデータに飢えている。 KBQAでは,対象ドメインがラベル付きサンプルを少数提供している。 本稿では,複数のソース学習型検索器を用いてKB検索を行う新しいKBQAアーキテクチャFuSIC-KBQAを提案する。
  論文  参考訳（メタデータ） (2023-11-15T11:56:56Z)
• KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases [55.942342665806656]
  KnowledGPTは、様々な知識ベースで大きな言語モデルをブリッジするための包括的なフレームワークである。 検索プロセスでは思考プロンプトプログラムを使用し,KBの検索言語をコード形式で生成する。 KnowledGPTは、個々のユーザ要求に合わせて、知識をパーソナライズされたKBに格納する機能を提供する。
  論文  参考訳（メタデータ） (2023-08-17T13:07:00Z)
• Make a Choice! Knowledge Base Question Answering with In-Context Learning [1.7827767384590838]
  知識ベースに対する質問応答(KBQA)は、与えられた知識ベース(KB)でファクトイドな質問に答えることを目的としている。 KBの大規模化のため、注釈付きデータはKB内のすべてのファクトスキーマをカバーすることは不可能である。 ICL ベースの多重選択による KBQA 手法に LLM の少数ショット機能を組み込んだフレームワークである McL-KBQA を提案する。
  論文  参考訳（メタデータ） (2023-05-23T11:56:03Z)
• Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension [61.079852289005025]
  知識ベース(xKBQA)に対する言語間質問応答は、提供された知識ベースとは異なる言語での質問に答えることを目的としている。 xKBQAが直面する大きな課題の1つは、データアノテーションのコストが高いことである。 読解パラダイムにおけるxKBQAの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-26T05:52:52Z)
• QA Is the New KR: Question-Answer Pairs as Knowledge Bases [105.692569000534]
  提案するKBの形式は,従来のシンボリックKBの重要な利点を多く備えている,と我々は主張する。 従来のKBとは異なり、この情報ストアは一般的なユーザ情報のニーズによく適合している。
  論文  参考訳（メタデータ） (2022-07-01T19:09:08Z)
• Reasoning Over Virtual Knowledge Bases With Open Predicate Relations [85.19305347984515]
  Open Predicate Query Language (OPQL) を紹介します。 OPQLは、テキストから完全にトレーニングされた仮想知識ベース(VKB)を構築する方法である。 OPQLは2つの異なるKB推論タスクにおいて、以前のVKBメソッドよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-14T01:29:54Z)
• Learning Knowledge Bases with Parameters for Task-Oriented Dialogue Systems [79.02430277138801]
  知識ベース(KB)は、ユーザの要求を満たす上で重要な役割を担います。 エンド・ツー・エンドのシステムは直接KBを入力として使用するが、KBが数百のエントリより大きい場合にはスケールできない。 モデルパラメータに直接KBを埋め込む手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T22:13:54Z)
• Scalable Neural Methods for Reasoning With a Symbolic Knowledge Base [34.837700505583]
  本稿では,Sparse-matrix reified KB と呼ばれる記号的知識ベース (KB) の表現方法について述べる。 この表現は、完全に微分可能で、KBの本来の意味に忠実であり、マルチホップ推論をモデル化するのに十分な表現力を持ち、現実的に大きなKBで使用可能なスケーラブルなニューラルネットワークモジュールを可能にする。
  論文  参考訳（メタデータ） (2020-02-14T16:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。