論文の概要: LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models

• arxiv url: http://arxiv.org/abs/2308.13207v1
• Date: Fri, 25 Aug 2023 07:04:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 14:50:04.220995
• Title: LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models
• Title（参考訳）: LLM2KB:大規模言語モデルを考慮した命令調律コンテキストを用いた知識ベースの構築
• Authors: Anmol Nayak and Hari Prasad Timmapathini
• Abstract要約: 本稿では,大規模言語モデルを用いた知識ベース構築システム LLM2KB を提案する。 ISWC 2023で開かれたLM-KBCチャレンジでは,21関係の平均F1スコアが0.6185に達した。
• 参考スコア（独自算出の注目度）: 0.8702432681310401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advent of Large Language Models (LLM) has revolutionized the field of natural language processing, enabling significant progress in various applications. One key area of interest is the construction of Knowledge Bases (KB) using these powerful models. Knowledge bases serve as repositories of structured information, facilitating information retrieval and inference tasks. Our paper proposes LLM2KB, a system for constructing knowledge bases using large language models, with a focus on the Llama 2 architecture and the Wikipedia dataset. We perform parameter efficient instruction tuning for Llama-2-13b-chat and StableBeluga-13B by training small injection models that have only 0.05 % of the parameters of the base models using the Low Rank Adaptation (LoRA) technique. These injection models have been trained with prompts that are engineered to utilize Wikipedia page contexts of subject entities fetched using a Dense Passage Retrieval (DPR) algorithm, to answer relevant object entities for a given subject entity and relation. Our best performing model achieved an average F1 score of 0.6185 across 21 relations in the LM-KBC challenge held at the ISWC 2023 conference.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は自然言語処理の分野に革命をもたらし、様々な分野で大きな進歩をもたらした。 重要な領域の1つは、これらの強力なモデルを用いた知識ベース(KB)の構築である。 知識ベースは構造化情報のリポジトリとして機能し、情報検索と推論作業を容易にする。 本稿では,Llama 2 アーキテクチャとウィキペディアデータセットに着目し,大規模言語モデルを用いた知識ベース構築システム LLM2KB を提案する。 Llama-2-13b-chat と StableBeluga-13B に対して,Low Rank Adaptation (LoRA) 技術を用いて,ベースモデルのパラメータの 0.05 % しか持たない小さなインジェクションモデルを訓練することにより,パラメータ効率の良い命令チューニングを行う。 これらのインジェクションモデルは、Dense Passage Retrieval (DPR)アルゴリズムを用いて取得した対象エンティティのウィキペディアページコンテキストを利用して、与えられた対象エンティティと関係に関する関連するオブジェクトエンティティに回答するプロンプトで訓練されている。 ISWC 2023で開かれたLM-KBCチャレンジでは,21関係の平均F1スコアが0.6185に達した。

関連論文リスト

• KBLaM: Knowledge Base augmented Language Model [8.247901935078357]
  外部知識を用いた大規模言語モデル拡張のための知識ベース拡張言語モデル(KBLaM)を提案する。 KBLaMは文書のコーパスから構築された知識ベースで動作し、KB内の各知識を連続キー値ベクトル対に変換する。 KBLaMの様々なタスクにおける有効性を示す実験は、質問応答やオープンエンド推論などである。
  論文  参考訳（メタデータ） (2024-10-14T12:45:10Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• LBC: Language-Based-Classifier for Out-Of-Variable Generalization [14.033963471962823]
  大規模言語モデル(LLM)は、応答生成のような自然言語処理タスクにおいて大きな成功を収めている。 LLMの事前学習された知識により、追加のトレーニングなしでテストに現れる新しい変数を解釈できることがわかった。 本稿では,LBC(Language-Based-Classifier)を提案する。
  論文  参考訳（メタデータ） (2024-08-20T15:05:02Z)
• Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws [51.68385617116854]
  スケーリング法則は、言語モデルのサイズと能力の関係を記述している。 我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。 7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
  論文  参考訳（メタデータ） (2024-04-08T11:11:31Z)
• Expanding the Vocabulary of BERT for Knowledge Base Construction [6.412048788884728]
  国際セマンティックウェブ会議2023で「事前学習言語モデルによる知識ベース構築」の課題が開催された。 私たちの焦点は、パラメータを最大10億に制限する課題のトラック1にありました。 本稿では,知識ベース構築のための語彙拡張BERTを提案する。
  論文  参考訳（メタデータ） (2023-10-12T12:52:46Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• A Machine Learning Approach to Classifying Construction Cost Documents into the International Construction Measurement Standard [0.0]
  原価文書で提供される自然言語記述を分類する最初の自動モデル「Bills of Quantities」を紹介した。 英国中の24の大規模なインフラ建設プロジェクトから収集された5万件以上の項目のデータセットから学習する。
  論文  参考訳（メタデータ） (2022-10-24T11:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。