論文の概要: A Survey on Knowledge-Enhanced Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2212.13428v1
• Date: Tue, 27 Dec 2022 09:54:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 15:09:34.290397
• Title: A Survey on Knowledge-Enhanced Pre-trained Language Models
• Title（参考訳）: 知識強化型事前学習言語モデルの検討
• Authors: Chaoqi Zhen and Yanlei Shang and Xiangyu Liu and Yifei Li and Yong Chen and Dell Zhang
• Abstract要約: 自然言語処理(NLP)は、事前学習言語モデル(PLM)によって革新された。 ほぼすべてのNLPタスクに新しいレコードを設定するが、PLMは、解釈可能性の低さ、推論能力の弱さ、下流タスクに適用する場合に多くの高価な注釈付きデータが必要であるなど、多くの課題に直面している。 外部知識を PLM に統合することにより、textitunderline-Knowledge-underline が強化された underlinePre-trained underlineLanguage underlineModels
• 参考スコア（独自算出の注目度）: 8.54551743144995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, \textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.
• Abstract（参考訳）: 自然言語処理(NLP)は、BERTのような事前訓練された言語モデル(PLM)によって革新されている。 ほぼすべてのNLPタスクに新しいレコードを設定するが、PLMは、解釈可能性の低さ、推論能力の弱さ、下流タスクに適用する場合の高価な注釈付きデータの必要性など、多くの課題に直面している。 外部知識をplmに統合することで、 \textit{\underline{k}nowledge-\underline{e}nhanced \underline{p}re-trained \underline{l}anguage \underline{m}odels} (keplms) は上記の制限を克服する可能性がある。 本稿では,一連の研究を通じて,ケプラムを体系的に検討する。 具体的には、KEPLMに組み込むべき共通型と様々な知識形式について概説し、KEPLMSの構築と評価のための既存の手法の詳細、下流タスクにおけるKEPLMの応用、今後の研究方向性について述べる。 研究者はこの調査の恩恵を受け、この分野の最新動向を迅速かつ包括的に概観する。

関連論文リスト

• Zero-shot Model-based Reinforcement Learning using Large Language Models [12.930241182192988]
  本稿では,マルコフ決定過程の動的状態を予測するために,事前学習した大規模言語モデルをどのように活用することができるかを検討する。 本稿では,モデルに基づく政策評価とデータ強化型オフ政治強化学習という2つの強化学習環境における概念実証の応用について述べる。
  論文  参考訳（メタデータ） (2024-10-15T15:46:53Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Zero-shot LLM-guided Counterfactual Generation: A Case Study on NLP Model Evaluation [15.254775341371364]
  ゼロショット対実生成に大規模言語モデルを活用する可能性について検討する。 我々は,この生成を容易にするための構造化パイプラインを提案し,近年のLLMにおける命令追従とテキスト理解の能力を効果的に活用できるという仮説を立てた。
  論文  参考訳（メタデータ） (2024-05-08T03:57:45Z)
• A Survey on Prompting Techniques in LLMs [0.0]
  自己回帰型大規模言語モデルは自然言語処理のランドスケープに変化をもたらした。 本研究は,既存の文献の分類手法について紹介し,この分類法に基づく簡潔な調査を行う。 我々は、将来の研究の方向性として役立つ自己回帰型LSMの推進という領域において、いくつかの未解決の問題を特定した。
  論文  参考訳（メタデータ） (2023-11-28T17:56:34Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)
• Information Extraction in Low-Resource Scenarios: Survey and Perspective [56.5556523013924]
  情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。 本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
  論文  参考訳（メタデータ） (2022-02-16T13:44:00Z)
• A Survey on Programmatic Weak Supervision [74.13976343129966]
  本稿では、PWS学習パラダイムの簡単な紹介と、各PWS学習ワークフローに対する代表的アプローチのレビューを行う。 この分野の今後の方向性に刺激を与えるために、この分野でまだ探索されていないいくつかの重要な課題を特定します。
  論文  参考訳（メタデータ） (2022-02-11T04:05:38Z)
• Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey [8.427521246916463]
  事前学習型言語モデル(PLM)は,大規模テキストコーパス上で情報表現を学習することで,新たなパラダイムを確立した。 この新しいパラダイムは、自然言語処理の分野全体に革命をもたらし、さまざまなNLPタスクに対して、新しい最先端のパフォーマンスを設定した。 この問題に対処するため, PLM への知識統合は近年, 非常に活発な研究領域となり, 様々なアプローチが開発されている。
  論文  参考訳（メタデータ） (2021-10-16T03:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。