論文の概要: LM-CORE: Language Models with Contextually Relevant External Knowledge
- arxiv url: http://arxiv.org/abs/2208.06458v1
- Date: Fri, 12 Aug 2022 18:59:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 13:01:17.163682
- Title: LM-CORE: Language Models with Contextually Relevant External Knowledge
- Title(参考訳): LM-CORE:文脈関連外部知識を持つ言語モデル
- Authors: Jivat Neet Kaur and Sumit Bhatia and Milan Aggarwal and Rachit Bansal
and Balaji Krishnamurthy
- Abstract要約: モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。
LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。
実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
- 参考スコア(独自算出の注目度): 13.451001884972033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large transformer-based pre-trained language models have achieved impressive
performance on a variety of knowledge-intensive tasks and can capture factual
knowledge in their parameters. We argue that storing large amounts of knowledge
in the model parameters is sub-optimal given the ever-growing amounts of
knowledge and resource requirements. We posit that a more efficient alternative
is to provide explicit access to contextually relevant structured knowledge to
the model and train it to use that knowledge. We present LM-CORE -- a general
framework to achieve this -- that allows \textit{decoupling} of the language
model training from the external knowledge source and allows the latter to be
updated without affecting the already trained model. Experimental results show
that LM-CORE, having access to external knowledge, achieves significant and
robust outperformance over state-of-the-art knowledge-enhanced language models
on knowledge probing tasks; can effectively handle knowledge updates; and
performs well on two downstream tasks. We also present a thorough error
analysis highlighting the successes and failures of LM-CORE.
- Abstract(参考訳): 大規模なトランスフォーマーベースの事前学習された言語モデルは、様々な知識集約的なタスクで印象的なパフォーマンスを達成し、パラメータの事実的知識を捉えることができる。
モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソース要件を考えると、準最適である。
より効率的な代替手段は、モデルにコンテキスト的に関連した構造化知識を明示的にアクセスし、その知識を使用するようにトレーニングすることです。
我々は、これを実現するための一般的なフレームワークであるLM-COREを紹介します。これは、外部知識ソースからの言語モデルトレーニングの‘textit{decoupling}’を可能にし、すでにトレーニングされたモデルに影響を与えることなく、後者を更新できるようにします。
実験結果から,LM-COREは知識探索タスクにおける最先端の知識強化言語モデルに対して,知識更新を効果的に処理し,下流の2つのタスクにおいて良好な性能を発揮することがわかった。
また,LM-COREの成功と失敗に注目した詳細な誤り解析を行った。
関連論文リスト
- Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳(メタデータ) (2023-10-11T08:22:37Z) - Augmenting LLMs with Knowledge: A survey on hallucination prevention [0.0]
この調査は言語モデル(LM)の領域を掘り下げ、外部の知識ソースをタップする機能を備えている。
欠落したトークンを予測するという標準的な目的に固執する一方で、これらの拡張LMは多種多様で、おそらくパラメトリックでない外部モジュールを活用する。
論文 参考訳(メタデータ) (2023-09-28T14:09:58Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language
Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。
どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文 参考訳(メタデータ) (2023-05-02T17:33:28Z) - Structured Knowledge Grounding for Question Answering [0.23068481501673416]
本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。
具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。
そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
論文 参考訳(メタデータ) (2022-09-17T08:48:50Z) - Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。
FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
論文 参考訳(メタデータ) (2022-01-15T03:00:27Z) - DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for
Natural Language Understanding [19.478288026844893]
知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。
従来の研究は、知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。
本稿では,事前学習,微調整,推論段階における事前学習言語モデルの知識注入過程を分解する,DKPLMという新しいKEPLMを提案する。
論文 参考訳(メタデータ) (2021-12-02T08:19:42Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳(メタデータ) (2021-10-15T21:58:03Z) - Language Models as a Knowledge Source for Cognitive Agents [9.061356032792954]
言語モデル (LM) は大量のコーパスで訓練された文補完エンジンである。
本稿では,認知システムのための新たな知識源として言語モデルを用いる上での課題と機会について概説する。
また、認知システムが提供する能力を用いて、言語モデルからの知識抽出を改善する方法も特定する。
論文 参考訳(メタデータ) (2021-09-17T01:12:34Z) - CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。
CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。
知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文 参考訳(メタデータ) (2020-10-01T11:39:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。