論文の概要: Knowledge Prompts: Injecting World Knowledge into Language Models
through Soft Prompts
- arxiv url: http://arxiv.org/abs/2210.04726v1
- Date: Mon, 10 Oct 2022 14:31:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 14:13:03.769911
- Title: Knowledge Prompts: Injecting World Knowledge into Language Models
through Soft Prompts
- Title(参考訳): 知識のプロンプト:ソフトプロンプトによる言語モデルへの世界知識の注入
- Authors: Cicero Nogueira dos Santos, Zhe Dong, Daniel Cer, John Nham, Siamak
Shakeri, Jianmo Ni, Yun-hsuan Sung
- Abstract要約: 本稿では,知識ベースからのデータに基づく自己教師付き学習を通じて,ソフトプロンプトを訓練する手法を提案する。
結果として生じるソフトナレッジプロンプト(KP)はタスク独立であり、LMの外部メモリとして機能する。
- 参考スコア(独自算出の注目度): 8.425194277824996
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Soft prompts have been recently proposed as a tool for adapting large frozen
language models (LMs) to new tasks. In this work, we repurpose soft prompts to
the task of injecting world knowledge into LMs. We introduce a method to train
soft prompts via self-supervised learning on data from knowledge bases. The
resulting soft knowledge prompts (KPs) are task independent and work as an
external memory of the LMs. We perform qualitative and quantitative experiments
and demonstrate that: (1) KPs can effectively model the structure of the
training data; (2) KPs can be used to improve the performance of LMs in
different knowledge intensive tasks.
- Abstract(参考訳): ソフトプロンプトは、最近、大きな凍結言語モデル(lms)を新しいタスクに適応させるツールとして提案されている。
本研究では,世界知識をLMに注入する作業に対してソフトプロンプトを再利用する。
本稿では,知識ベースからのデータを自己教師付き学習することで,ソフトプロンプトの学習方法を提案する。
結果として生じるソフトナレッジプロンプト(KP)はタスク独立であり、LMの外部メモリとして機能する。
定性的かつ定量的な実験を行い、(1)KPはトレーニングデータの構造を効果的にモデル化し、(2)KPは異なる知識集約タスクにおけるLMの性能を向上させるために使用できることを示した。
関連論文リスト
- Helping Language Models Learn More: Multi-dimensional Task Prompt for
Few-shot Tuning [36.14688633670085]
本稿では,タスク関連オブジェクト,要約,タスク記述情報に基づく多次元タスクプロンプト学習手法MTPromptを提案する。
提案するMTPromptは,適切なプロンプトを自動構築し,検索することで,いくつかのサンプル設定と5つの異なるデータセットに対して最適な結果が得られる。
論文 参考訳(メタデータ) (2023-12-13T10:00:44Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - ExpeL: LLM Agents Are Experiential Learners [60.54312035818746]
実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。
我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。
推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
論文 参考訳(メタデータ) (2023-08-20T03:03:34Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:00:00Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - Knowledge Prompting in Pre-trained Language Model for Natural Language
Understanding [24.315130086787374]
知識プロンプトに基づく PLM フレームワーク KP-PLM を提案する。
このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。
これらのプロンプトから事実知識を更に活用するために,我々は2つの新しい知識認識型自己監督タスクを提案する。
論文 参考訳(メタデータ) (2022-10-16T13:36:57Z) - LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。
LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。
実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
論文 参考訳(メタデータ) (2022-08-12T18:59:37Z) - Knowledgeable Salient Span Mask for Enhancing Language Models as
Knowledge Base [51.55027623439027]
我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。
最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
論文 参考訳(メタデータ) (2022-04-17T12:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。