論文の概要: Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey
- arxiv url: http://arxiv.org/abs/2110.08455v1
- Date: Sat, 16 Oct 2021 03:27:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:43:11.247047
- Title: Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey
- Title（参考訳）: 知識強化事前学習言語モデル:理解論的調査
- Authors: Xiaokai Wei, Shen Wang, Dejiao Zhang, Parminder Bhatia, Andrew Arnold
- Abstract要約: 事前学習型言語モデル(PLM)は,大規模テキストコーパス上で情報表現を学習することで,新たなパラダイムを確立した。
この新しいパラダイムは、自然言語処理の分野全体に革命をもたらし、さまざまなNLPタスクに対して、新しい最先端のパフォーマンスを設定した。
この問題に対処するため, PLM への知識統合は近年, 非常に活発な研究領域となり, 様々なアプローチが開発されている。
- 参考スコア（独自算出の注目度）: 8.427521246916463
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pretrained Language Models (PLM) have established a new paradigm through
learning informative contextualized representations on large-scale text corpus.
This new paradigm has revolutionized the entire field of natural language
processing, and set the new state-of-the-art performance for a wide variety of
NLP tasks. However, though PLMs could store certain knowledge/facts from
training corpus, their knowledge awareness is still far from satisfactory. To
address this issue, integrating knowledge into PLMs have recently become a very
active research area and a variety of approaches have been developed. In this
paper, we provide a comprehensive survey of the literature on this emerging and
fast-growing field - Knowledge Enhanced Pretrained Language Models (KE-PLMs).
We introduce three taxonomies to categorize existing work. Besides, we also
survey the various NLU and NLG applications on which KE-PLM has demonstrated
superior performance over vanilla PLMs. Finally, we discuss challenges that
face KE-PLMs and also promising directions for future research.
- Abstract（参考訳）: 事前学習型言語モデル(PLM)は,大規模テキストコーパス上で情報的文脈表現を学習することで,新たなパラダイムを確立した。
この新たなパラダイムは、自然言語処理の分野全体に革命をもたらし、様々なNLPタスクに対する新しい最先端のパフォーマンスを設定した。
しかしながら、PLMは特定の知識/成果をトレーニングコーパスから保存することができるが、その知識の認識はまだまだ十分ではない。
この問題に対処するため, PLM への知識統合は近年, 非常に活発な研究領域となり, 様々なアプローチが開発されている。
本稿では,この急速に成長する分野である知識強化事前学習言語モデル(KE-PLM)に関する文献を包括的に調査する。
既存の作業の分類に3つの分類法を導入します。
また, KE-PLM がバニラPLM よりも優れた性能を示した NLU および NLG の応用についても検討した。
最後に,KE-PLMに直面する課題と今後の研究の方向性について論じる。
関連論文リスト
- A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks [0.0]
大規模言語モデル(LLM)は多くの異なる自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを示している。
プロンプトエンジニアリングは、大きなパフォーマンス向上を達成するために、既に存在するLLMの能力に追加する上で重要な役割を担います。
本稿では、異なるプロンプト手法を要約し、それらが用いた異なるNLPタスクに基づいてそれらをまとめる。
論文 参考訳（メタデータ） (2024-07-17T20:23:19Z) - Simple Techniques for Enhancing Sentence Embeddings in Generative Language Models [3.0566617373924325]
文の埋め込みは自然言語処理の領域における基本的なタスクであり、検索エンジン、エキスパートシステム、質問・回答プラットフォームで広範囲に応用されている。
LLaMAやMistralのような大規模言語モデルの継続的な進化により、文の埋め込みに関する研究は近年顕著なブレークスルーを達成している。
PLMの生埋め込みの表現力をさらに向上する2つの革新的急進的技術技術を提案する。
論文 参考訳（メタデータ） (2024-04-05T07:07:15Z) - Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳（メタデータ） (2024-02-02T12:34:09Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳（メタデータ） (2023-05-15T15:47:09Z) - A Survey on Knowledge-Enhanced Pre-trained Language Models [8.54551743144995]
自然言語処理(NLP)は、事前学習言語モデル(PLM)によって革新された。
ほぼすべてのNLPタスクに新しいレコードを設定するが、PLMは、解釈可能性の低さ、推論能力の弱さ、下流タスクに適用する場合に多くの高価な注釈付きデータが必要であるなど、多くの課題に直面している。
外部知識を PLM に統合することにより、textitunderline-Knowledge-underline が強化された underlinePre-trained underlineLanguage underlineModels
論文 参考訳（メタデータ） (2022-12-27T09:54:14Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳（メタデータ） (2022-11-11T04:29:02Z) - LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。
我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
論文 参考訳（メタデータ） (2022-11-10T05:09:16Z) - A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models [185.08295787309544]
我々は、事前訓練された言語モデルに基づく知識強化モデル(PLMKEs)の現在の進歩を要約することを目的としている。
本論では,3つの要素に関する議論に基づくPLMKEの課題について述べるとともに,NLP実践者にさらなる研究の道筋を示そうとしている。
論文 参考訳（メタデータ） (2022-02-17T17:17:43Z) - A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。
これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
論文 参考訳（メタデータ） (2021-10-01T08:51:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。