論文の概要: Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey
- arxiv url: http://arxiv.org/abs/2110.08455v1
- Date: Sat, 16 Oct 2021 03:27:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:43:11.247047
- Title: Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey
- Title(参考訳): 知識強化事前学習言語モデル:理解論的調査
- Authors: Xiaokai Wei, Shen Wang, Dejiao Zhang, Parminder Bhatia, Andrew Arnold
- Abstract要約: 事前学習型言語モデル(PLM)は,大規模テキストコーパス上で情報表現を学習することで,新たなパラダイムを確立した。
この新しいパラダイムは、自然言語処理の分野全体に革命をもたらし、さまざまなNLPタスクに対して、新しい最先端のパフォーマンスを設定した。
この問題に対処するため, PLM への知識統合は近年, 非常に活発な研究領域となり, 様々なアプローチが開発されている。
- 参考スコア(独自算出の注目度): 8.427521246916463
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pretrained Language Models (PLM) have established a new paradigm through
learning informative contextualized representations on large-scale text corpus.
This new paradigm has revolutionized the entire field of natural language
processing, and set the new state-of-the-art performance for a wide variety of
NLP tasks. However, though PLMs could store certain knowledge/facts from
training corpus, their knowledge awareness is still far from satisfactory. To
address this issue, integrating knowledge into PLMs have recently become a very
active research area and a variety of approaches have been developed. In this
paper, we provide a comprehensive survey of the literature on this emerging and
fast-growing field - Knowledge Enhanced Pretrained Language Models (KE-PLMs).
We introduce three taxonomies to categorize existing work. Besides, we also
survey the various NLU and NLG applications on which KE-PLM has demonstrated
superior performance over vanilla PLMs. Finally, we discuss challenges that
face KE-PLMs and also promising directions for future research.
- Abstract(参考訳): 事前学習型言語モデル(PLM)は,大規模テキストコーパス上で情報的文脈表現を学習することで,新たなパラダイムを確立した。
この新たなパラダイムは、自然言語処理の分野全体に革命をもたらし、様々なNLPタスクに対する新しい最先端のパフォーマンスを設定した。
しかしながら、PLMは特定の知識/成果をトレーニングコーパスから保存することができるが、その知識の認識はまだまだ十分ではない。
この問題に対処するため, PLM への知識統合は近年, 非常に活発な研究領域となり, 様々なアプローチが開発されている。
本稿では,この急速に成長する分野である知識強化事前学習言語モデル(KE-PLM)に関する文献を包括的に調査する。
既存の作業の分類に3つの分類法を導入します。
また, KE-PLM がバニラPLM よりも優れた性能を示した NLU および NLG の応用についても検討した。
最後に,KE-PLMに直面する課題と今後の研究の方向性について論じる。
関連論文リスト
- Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳(メタデータ) (2024-02-02T12:34:09Z) - Prompting in Autoregressive Large Language Models [0.0]
自己回帰型大規模言語モデルは自然言語処理のランドスケープに変化をもたらした。
本研究は,既存の文献の分類手法について紹介し,この分類法に基づく簡潔な調査を行う。
我々は、将来の研究の方向性として役立つ自己回帰型LSMの推進という領域において、いくつかの未解決の問題を特定した。
論文 参考訳(メタデータ) (2023-11-28T17:56:34Z) - Improving Factuality and Reasoning in Language Models through Multiagent
Debate [95.10641301155232]
複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。
以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。
我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
論文 参考訳(メタデータ) (2023-05-23T17:55:11Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - A Survey on Knowledge-Enhanced Pre-trained Language Models [8.54551743144995]
自然言語処理(NLP)は、事前学習言語モデル(PLM)によって革新された。
ほぼすべてのNLPタスクに新しいレコードを設定するが、PLMは、解釈可能性の低さ、推論能力の弱さ、下流タスクに適用する場合に多くの高価な注釈付きデータが必要であるなど、多くの課題に直面している。
外部知識を PLM に統合することにより、textitunderline-Knowledge-underline が強化された underlinePre-trained underlineLanguage underlineModels
論文 参考訳(メタデータ) (2022-12-27T09:54:14Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。
我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
論文 参考訳(メタデータ) (2022-11-10T05:09:16Z) - Knowledge Prompting in Pre-trained Language Model for Natural Language
Understanding [24.315130086787374]
知識プロンプトに基づく PLM フレームワーク KP-PLM を提案する。
このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。
これらのプロンプトから事実知識を更に活用するために,我々は2つの新しい知識認識型自己監督タスクを提案する。
論文 参考訳(メタデータ) (2022-10-16T13:36:57Z) - A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models [185.08295787309544]
我々は、事前訓練された言語モデルに基づく知識強化モデル(PLMKEs)の現在の進歩を要約することを目的としている。
本論では,3つの要素に関する議論に基づくPLMKEの課題について述べるとともに,NLP実践者にさらなる研究の道筋を示そうとしている。
論文 参考訳(メタデータ) (2022-02-17T17:17:43Z) - A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。
これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
論文 参考訳(メタデータ) (2021-10-01T08:51:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。