Fugu-MT 論文翻訳(概要): DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding

論文の概要: DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding

arxiv url: http://arxiv.org/abs/2112.01047v1
Date: Thu, 2 Dec 2021 08:19:42 GMT
ステータス: 処理完了
システム内更新日: 2021-12-04 02:26:14.670984
Title: DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding
Title（参考訳）: DKPLM:自然言語理解のための知識強化型事前学習言語モデル
Authors: Taolin Zhang, Chengyu Wang, Nan Hu, Minghui Qiu, Chengguang Tang, Xiaofeng He, Jun Huang
Abstract要約: 知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。従来の研究は、知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。本稿では,事前学習,微調整,推論段階における事前学習言語モデルの知識注入過程を分解する,DKPLMという新しいKEPLMを提案する。
参考スコア（独自算出の注目度）: 19.478288026844893
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Knowledge-Enhanced Pre-trained Language Models (KEPLMs) are pre-trained models with relation triples injecting from knowledge graphs to improve language understanding abilities. To guarantee effective knowledge injection, previous studies integrate models with knowledge encoders for representing knowledge retrieved from knowledge graphs. The operations for knowledge retrieval and encoding bring significant computational burdens, restricting the usage of such models in real-world applications that require high inference speed. In this paper, we propose a novel KEPLM named DKPLM that Decomposes Knowledge injection process of the Pre-trained Language Models in pre-training, fine-tuning and inference stages, which facilitates the applications of KEPLMs in real-world scenarios. Specifically, we first detect knowledge-aware long-tail entities as the target for knowledge injection, enhancing the KEPLMs' semantic understanding abilities and avoiding injecting redundant information. The embeddings of long-tail entities are replaced by "pseudo token representations" formed by relevant knowledge triples. We further design the relational knowledge decoding task for pre-training to force the models to truly understand the injected knowledge by relation triple reconstruction. Experiments show that our model outperforms other KEPLMs significantly over zero-shot knowledge probing tasks and multiple knowledge-aware language understanding tasks. We further show that DKPLM has a higher inference speed than other competing models due to the decomposing mechanism.
Abstract（参考訳）: 知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。効果的な知識注入を保証するため,従来の研究は知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。知識検索とエンコーディングの操作は、高い推論速度を必要とする現実世界のアプリケーションにおいて、そのようなモデルの使用を制限する重要な計算負荷をもたらす。本稿では,事前学習・微調整・推論段階における事前学習言語モデルの知識注入プロセスを分解し,実世界のシナリオにおけるKEPLMの活用を容易にする,DKPLMという新しいKEPLMを提案する。具体的には,まず知識注入対象として知識認識型ロングテールエンティティを検出し,keplmsの意味理解能力を高め,冗長な情報の注入を回避した。ロングテールエンティティの埋め込みは、関連する知識トリプルによって形成される"pseudoトークン表現"に置き換えられる。さらに、事前学習のための関係知識復号化タスクを設計し、関係3重再構成によってモデルに注入知識を真に理解させる。実験の結果,本モデルは,ゼロショット知識探索タスクや複数の知識認識言語理解タスクよりも,他のKEPLMよりも優れていた。さらに、DKPLMは分解機構のため、他の競合モデルよりも推論速度が高いことを示す。

関連論文リスト

KEHRL: Learning Knowledge-Enhanced Language Representations with Hierarchical Reinforcement Learning [32.086825891769585]
知識強化事前学習言語モデル(KEPLM)は知識グラフ(KG)から関係トリプルを利用する従来の研究は、知識の強化を2つの独立した操作、すなわち知識注入と知識統合として扱う。本稿では,不正確な知識や無関係な知識の注入を避けるために,知識注入位置の検出と外部知識のモデルへの統合という課題を共同で解決する。
論文参考訳（メタデータ） (2024-06-24T07:32:35Z)
Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
論文参考訳（メタデータ） (2024-06-11T15:58:59Z)
TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models [31.209774088374374]
本稿では,知識強化言語モデルのためのロバストかつ効率的な事前学習フレームワークであるTRELMを紹介する。我々は、知識を3倍に注入するための堅牢なアプローチと、価値ある情報を取得するための知識強化されたメモリバンクを採用しています。我々は,TRELMが事前学習時間を少なくとも50%削減し,知識探索タスクや複数の知識認識言語理解タスクにおいて,他のKEPLMよりも優れていることを示す。
論文参考訳（メタデータ） (2024-03-17T13:04:35Z)
Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文参考訳（メタデータ） (2023-06-04T15:44:51Z)
Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文参考訳（メタデータ） (2023-05-15T15:47:09Z)
UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文参考訳（メタデータ） (2023-05-02T17:33:28Z)
LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
論文参考訳（メタデータ） (2022-08-12T18:59:37Z)
A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models [185.08295787309544]
我々は、事前訓練された言語モデルに基づく知識強化モデル(PLMKEs)の現在の進歩を要約することを目的としている。本論では,3つの要素に関する議論に基づくPLMKEの課題について述べるとともに,NLP実践者にさらなる研究の道筋を示そうとしている。
論文参考訳（メタデータ） (2022-02-17T17:17:43Z)
Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文参考訳（メタデータ） (2021-10-15T21:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。