論文の概要: KBLaM: Knowledge Base augmented Language Model

• arxiv url: http://arxiv.org/abs/2410.10450v1
• Date: Mon, 14 Oct 2024 12:45:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 21:34:52.245569
• Title: KBLaM: Knowledge Base augmented Language Model
• Title（参考訳）: KBLaM:知識ベース拡張言語モデル
• Authors: Xi Wang, Liana Mikaelyan, Taketomo Isazawa, James Hensman,
• Abstract要約: 外部知識を用いた大規模言語モデル拡張のための知識ベース拡張言語モデル(KBLaM)を提案する。 KBLaMは文書のコーパスから構築された知識ベースで動作し、KB内の各知識を連続キー値ベクトル対に変換する。 KBLaMの様々なタスクにおける有効性を示す実験は、質問応答やオープンエンド推論などである。
• 参考スコア（独自算出の注目度）: 8.247901935078357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose Knowledge Base augmented Language Model (KBLaM), a new method for augmenting Large Language Models (LLMs) with external knowledge. KBLaM works with a knowledge base (KB) constructed from a corpus of documents, transforming each piece of knowledge in the KB into continuous key-value vector pairs via pre-trained sentence encoders with linear adapters and integrating them into pre-trained LLMs via a specialized rectangular attention mechanism. Unlike Retrieval-Augmented Generation, KBLaM eliminates external retrieval modules, and unlike in-context learning, its computational overhead scales linearly with KB size rather than quadratically. Our approach enables integrating a large KB of more than 10K triples into an 8B pre-trained LLM of only 8K context window on one single A100 80GB GPU and allows for dynamic updates without model fine-tuning or retraining. Experiments demonstrate KBLaM's effectiveness in various tasks, including question-answering and open-ended reasoning, while providing interpretable insights into its use of the augmented knowledge.
• Abstract（参考訳）: 本稿では,Large Language Models (LLM) を外部知識で拡張する新しい手法であるKnowledge Base augmented Language Model (KBLaM)を提案する。 KBLaM は文書のコーパスから構築された知識ベース (KB) と連携し、KB の各知識を線形アダプタで訓練済みの文エンコーダを介して連続キー値ベクトル対に変換し、特殊な長方形の注意機構によって学習済みの LLM に統合する。 Retrieval-Augmented Generationとは異なり、KBLaMは外部検索モジュールを排除し、コンテキスト内学習とは異なり、計算オーバーヘッドは2次ではなくKBサイズで線形にスケールする。 提案手法では,A10080GBの1つのGPU上で,8Kコンテキストウィンドウのみを事前学習した8BのLLMに,10Kトリプル以上の大きなKBを組み込むことが可能である。 KBLaMの様々なタスクにおける有効性を示す実験は、質問応答やオープンエンド推論を含むとともに、拡張知識の使用に関する解釈可能な洞察を提供する。

関連論文リスト

• A Learn-Then-Reason Model Towards Generalization in Knowledge Base Question Answering [17.281005999581865]
  FreebaseやWikidataのような大規模知識ベース(KB)には、数百万の構造化知識がある。 Knowledge Base Question Answering (KBQA)は、自然言語の質問を通じて、これらの貴重なKBにアクセスするためのユーザフレンドリな方法を提供する。 本稿では,KBLLaMAを開発した。KBLLaMAは,新しいKB知識を言語モデルに注入し,フレキシブルなエンドツーエンドKBQAを実現するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-06-20T22:22:41Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• KB-Plugin: A Plug-and-play Framework for Large Language Models to Induce Programs over Low-resourced Knowledge Bases [49.010104412978436]
  プログラム誘導(PI)は、知識ベース(KB)を使用して、大規模言語モデル(LLM)が複雑な質問に答える上で、有望なパラダイムとなっている。 我々は,LLMが低リソースKB上でプログラムを誘導できるプラグイン・アンド・プレイフレームワークKB-resourcedを提案する。
  論文  参考訳（メタデータ） (2024-02-02T18:32:24Z)
• LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models [0.8702432681310401]
  本稿では,大規模言語モデルを用いた知識ベース構築システム LLM2KB を提案する。 ISWC 2023で開かれたLM-KBCチャレンジでは,21関係の平均F1スコアが0.6185に達した。
  論文  参考訳（メタデータ） (2023-08-25T07:04:16Z)
• KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases [55.942342665806656]
  KnowledGPTは、様々な知識ベースで大きな言語モデルをブリッジするための包括的なフレームワークである。 検索プロセスでは思考プロンプトプログラムを使用し,KBの検索言語をコード形式で生成する。 KnowledGPTは、個々のユーザ要求に合わせて、知識をパーソナライズされたKBに格納する機能を提供する。
  論文  参考訳（メタデータ） (2023-08-17T13:07:00Z)
• Prix-LM: Pretraining for Multilingual Knowledge Base Construction [59.02868906044296]
  複数言語による知識構築と完成のための統合フレームワークである Prix-LM を提案する。 既存の多言語KBから抽出したモノリンガルトリプルとクロスリンガルリンクの2種類の知識を利用する。 複数の言語におけるリンク予測、言語間リンク、バイリンガル語彙誘導など、標準的なエンティティ関連タスクの実験は、その効果を実証している。
  論文  参考訳（メタデータ） (2021-10-16T02:08:46Z)
• Reasoning Over Virtual Knowledge Bases With Open Predicate Relations [85.19305347984515]
  Open Predicate Query Language (OPQL) を紹介します。 OPQLは、テキストから完全にトレーニングされた仮想知識ベース(VKB)を構築する方法である。 OPQLは2つの異なるKB推論タスクにおいて、以前のVKBメソッドよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-14T01:29:54Z)
• Learning Knowledge Bases with Parameters for Task-Oriented Dialogue Systems [79.02430277138801]
  知識ベース(KB)は、ユーザの要求を満たす上で重要な役割を担います。 エンド・ツー・エンドのシステムは直接KBを入力として使用するが、KBが数百のエントリより大きい場合にはスケールできない。 モデルパラメータに直接KBを埋め込む手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T22:13:54Z)
• Scalable Neural Methods for Reasoning With a Symbolic Knowledge Base [34.837700505583]
  本稿では,Sparse-matrix reified KB と呼ばれる記号的知識ベース (KB) の表現方法について述べる。 この表現は、完全に微分可能で、KBの本来の意味に忠実であり、マルチホップ推論をモデル化するのに十分な表現力を持ち、現実的に大きなKBで使用可能なスケーラブルなニューラルネットワークモジュールを可能にする。
  論文  参考訳（メタデータ） (2020-02-14T16:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。