Fugu-MT 論文翻訳(概要): Infusing Knowledge into Large Language Models with Contextual Prompts

論文の概要: Infusing Knowledge into Large Language Models with Contextual Prompts

arxiv url: http://arxiv.org/abs/2403.01481v1
Date: Sun, 3 Mar 2024 11:19:26 GMT
ステータス: 処理完了
システム内更新日: 2024-03-06 21:18:29.188552
Title: Infusing Knowledge into Large Language Models with Contextual Prompts
Title（参考訳）: 文脈プロンプトを用いた大規模言語モデルへの知識注入
Authors: Kinshuk Vasisht, Balaji Ganesan, Vikas Kumar, Vasudha Bhatnagar
Abstract要約: 入力テキスト中の文脈からプロンプトを生成することにより,知識注入のためのシンプルだが一般化可能なアプローチを提案する。本実験は, 微調整LDMを用いて評価する手法の有効性を示す。
参考スコア（独自算出の注目度）: 5.865016596356753
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Knowledge infusion is a promising method for enhancing Large Language Models for domain-specific NLP tasks rather than pre-training models over large data from scratch. These augmented LLMs typically depend on additional pre-training or knowledge prompts from an existing knowledge graph, which is impractical in many applications. In contrast, knowledge infusion directly from relevant documents is more generalisable and alleviates the need for structured knowledge graphs while also being useful for entities that are usually not found in any knowledge graph. With this motivation, we propose a simple yet generalisable approach for knowledge infusion by generating prompts from the context in the input text. Our experiments show the effectiveness of our approach which we evaluate by probing the fine-tuned LLMs.
Abstract（参考訳）: 知識注入は、大きなデータをスクラッチから事前学習するのではなく、ドメイン固有のNLPタスクのために大規模言語モデルを拡張するための有望な方法である。これらの拡張LDMは、通常、既存の知識グラフから追加の事前学習や知識プロンプトに依存するが、多くのアプリケーションでは実用的ではない。対照的に、関連する文書から直接知識を注入することはより一般化可能であり、構造化された知識グラフの必要性を軽減すると同時に、通常知識グラフにないエンティティにも有用である。そこで本研究では,入力テキストの文脈からプロンプトを生成することにより,知識注入に対する単純かつ汎用的なアプローチを提案する。本実験は, 微調整LDMを用いて評価する手法の有効性を示す。

関連論文リスト

Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
論文参考訳（メタデータ） (2024-06-19T21:45:20Z)
TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models [31.209774088374374]
本稿では,知識強化言語モデルのためのロバストかつ効率的な事前学習フレームワークであるTRELMを紹介する。我々は、知識を3倍に注入するための堅牢なアプローチと、価値ある情報を取得するための知識強化されたメモリバンクを採用しています。我々は,TRELMが事前学習時間を少なくとも50%削減し,知識探索タスクや複数の知識認識言語理解タスクにおいて,他のKEPLMよりも優れていることを示す。
論文参考訳（メタデータ） (2024-03-17T13:04:35Z)
Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文参考訳（メタデータ） (2023-11-16T07:09:38Z)
UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文参考訳（メタデータ） (2023-05-02T17:33:28Z)
Injecting Domain Knowledge in Language Models for Task-Oriented Dialogue Systems [9.983102639594899]
プレトレーニング言語モデル(PLM)は、NLPアプリケーションにまたがる最先端の言語モデルである。事前学習データに自然に発生することのないドメイン固有の知識は欠如している。従来の研究では、下流の異なるNLPタスクに象徴的な知識を持つPLMが強化された。
論文参考訳（メタデータ） (2022-12-15T20:15:05Z)
Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文参考訳（メタデータ） (2022-10-19T16:40:28Z)
LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
論文参考訳（メタデータ） (2022-08-12T18:59:37Z)
Ontology-enhanced Prompt-tuning for Few-shot Learning [41.51144427728086]
少ないショットラーニングは、限られたサンプル数に基づいて予測を行うことを目的としている。知識グラフやオントロジーライブラリなどの構造化データは、様々なタスクにおける数ショット設定の恩恵を受けるために利用されてきた。
論文参考訳（メタデータ） (2022-01-27T05:41:36Z)
DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding [19.478288026844893]
知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。従来の研究は、知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。本稿では,事前学習,微調整,推論段階における事前学習言語モデルの知識注入過程を分解する,DKPLMという新しいKEPLMを提案する。
論文参考訳（メタデータ） (2021-12-02T08:19:42Z)
CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文参考訳（メタデータ） (2020-10-01T11:39:32Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。