論文の概要: K-PLUG: Knowledge-injected Pre-trained Language Model for Natural
Language Understanding and Generation in E-Commerce
- arxiv url: http://arxiv.org/abs/2104.06960v1
- Date: Wed, 14 Apr 2021 16:37:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-15 15:48:07.805977
- Title: K-PLUG: Knowledge-injected Pre-trained Language Model for Natural
Language Understanding and Generation in E-Commerce
- Title（参考訳）: K-PLUG:Eコマースにおける自然言語理解・生成のための知識注入型事前学習言語モデル
- Authors: Song Xu, Haoran Li, Peng Yuan, Yujia Wang, Youzheng Wu, Xiaodong He,
Ying Liu, Bowen Zhou
- Abstract要約: K-PLUGは、エンコーダデコーダトランスフォーマーに基づく知識インジェクション型プリトレーニング言語モデルです。
ドメイン特化知識の学習を定式化する5つの自己指導型事前学習目標を提案する。
- 参考スコア（独自算出の注目度）: 38.9878151656255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing pre-trained language models (PLMs) have demonstrated the
effectiveness of self-supervised learning for a broad range of natural language
processing (NLP) tasks. However, most of them are not explicitly aware of
domain-specific knowledge, which is essential for downstream tasks in many
domains, such as tasks in e-commerce scenarios. In this paper, we propose
K-PLUG, a knowledge-injected pre-trained language model based on the
encoder-decoder transformer that can be transferred to both natural language
understanding and generation tasks. We verify our method in a diverse range of
e-commerce scenarios that require domain-specific knowledge. Specifically, we
propose five knowledge-aware self-supervised pre-training objectives to
formulate the learning of domain-specific knowledge, including e-commerce
domain-specific knowledge-bases, aspects of product entities, categories of
product entities, and unique selling propositions of product entities. K-PLUG
achieves new state-of-the-art results on a suite of domain-specific NLP tasks,
including product knowledge base completion, abstractive product summarization,
and multi-turn dialogue, significantly outperforms baselines across the board,
which demonstrates that the proposed method effectively learns a diverse set of
domain-specific knowledge for both language understanding and generation tasks.
- Abstract（参考訳）: 既存の訓練済み言語モデル (PLM) は、幅広い自然言語処理(NLP)タスクに対する自己教師型学習の有効性を実証している。
しかし、その多くはドメイン固有の知識を明示的に認識していないため、eコマースシナリオのタスクなど、多くのドメインのダウンストリームタスクに不可欠である。
本稿では,自然言語理解と生成タスクの両方に変換可能なエンコーダ・デコーダ変換器に基づく,知識注入型事前学習型言語モデルK-PLUGを提案する。
ドメイン固有の知識を必要とするさまざまなeコマースシナリオにおいて、我々の手法を検証する。
具体的には、eコマースドメイン固有の知識ベース、製品エンティティの側面、製品エンティティのカテゴリ、製品エンティティのユニークな販売提案を含む、ドメイン固有の知識の学習を定式化する5つの知識認識自己教師付き事前学習目標を提案する。
k-plugは、製品知識ベースコンプリート、抽象的製品要約、マルチターン対話を含む一連のドメイン固有のnlpタスクにおいて、新たな最先端の成果を達成し、提案手法が言語理解と生成タスクの両方において、ドメイン固有の知識の多種多様なセットを効果的に学習できることを実証する。
関連論文リスト
- EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models
with Semi-structured Data [67.8302955948861]
大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。
これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。
我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
論文 参考訳（メタデータ） (2023-12-25T11:31:47Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳（メタデータ） (2023-11-16T07:09:38Z) - UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language
Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。
どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文 参考訳（メタデータ） (2023-05-02T17:33:28Z) - Injecting Domain Knowledge in Language Models for Task-Oriented Dialogue
Systems [9.983102639594899]
プレトレーニング言語モデル(PLM)は、NLPアプリケーションにまたがる最先端の言語モデルである。
事前学習データに自然に発生することのないドメイン固有の知識は欠如している。
従来の研究では、下流の異なるNLPタスクに象徴的な知識を持つPLMが強化された。
論文 参考訳（メタデータ） (2022-12-15T20:15:05Z) - A Unified Knowledge Graph Augmentation Service for Boosting
Domain-specific NLP Tasks [10.28161912127425]
本稿では,ドメイン知識グラフを用いたタスク固有のトレーニング手順を強化するために,統合されたドメイン言語モデル開発サービスであるKnowledgeDAを提案する。
我々は、医療とソフトウェア開発という2つの分野の言語モデルを学ぶために、KnowledgeDAのプロトタイプを実装します。
論文 参考訳（メタデータ） (2022-12-10T09:18:43Z) - Knowledge Based Multilingual Language Model [44.70205282863062]
知識に基づく多言語言語モデル(KMLM)を事前学習するための新しいフレームワークを提案する。
我々は、ウィキデータ知識グラフを用いて、大量のコード切替合成文と推論に基づく多言語学習データを生成する。
生成したデータの文内構造と文間構造に基づいて,知識学習を容易にするための事前学習タスクを設計する。
論文 参考訳（メタデータ） (2021-11-22T02:56:04Z) - K-AID: Enhancing Pre-trained Language Models with Domain Knowledge for
Question Answering [8.772466918885224]
ドメイン知識を取得するための低コストな知識獲得プロセスを含む体系的アプローチであるK-AIDを提案する。
既存のK-PLMの大多数のようにエンティティ知識をキャプチャする代わりに、我々のアプローチはリレーショナル知識をキャプチャする。
筆者らは,Eコマース,政府,フィルム&TVの3分野から5つのテキスト分類タスクと3つのテキストマッチングタスクについて実験を行い,EコマースにおけるオンラインA/Bテストを実施した。
論文 参考訳（メタデータ） (2021-09-22T07:19:08Z) - CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。
CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。
知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文 参考訳（メタデータ） (2020-10-01T11:39:32Z) - E-BERT: A Phrase and Product Knowledge Enhanced Language Model for
E-commerce [63.333860695727424]
電子商取引タスクは、ドメインフレーズの正確な理解を必要とするが、そのようなきめ細かいフレーズレベルの知識は、BERTの訓練目的によって明示的にモデル化されていない。
この問題に対処するため、我々はE-BERTという統合事前学習フレームワークを提案する。
具体的には、フレーズレベルの知識を保存するために、適応的ハイブリッドマスキングを導入し、モデルが予備単語の知識から複雑なフレーズの学習に適応的に切り替えることを可能にする。
製品レベルの知識を活用するために,E-BERT を訓練し,製品に付随する隣人を認知的なクロスアテンション層で予測するNighbor Product Restruction を導入する。
論文 参考訳（メタデータ） (2020-09-07T00:15:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。