論文の概要: E-BERT: A Phrase and Product Knowledge Enhanced Language Model for E-commerce

• arxiv url: http://arxiv.org/abs/2009.02835v3
• Date: Fri, 17 Dec 2021 18:26:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 02:04:43.031011
• Title: E-BERT: A Phrase and Product Knowledge Enhanced Language Model for E-commerce
• Title（参考訳）: E-BERT:Eコマースのためのフレーズと製品知識強化言語モデル
• Authors: Denghui Zhang, Zixuan Yuan, Yanchi Liu, Fuzhen Zhuang, Haifeng Chen, Hui Xiong
• Abstract要約: 電子商取引タスクは、ドメインフレーズの正確な理解を必要とするが、そのようなきめ細かいフレーズレベルの知識は、BERTの訓練目的によって明示的にモデル化されていない。 この問題に対処するため、我々はE-BERTという統合事前学習フレームワークを提案する。 具体的には、フレーズレベルの知識を保存するために、適応的ハイブリッドマスキングを導入し、モデルが予備単語の知識から複雑なフレーズの学習に適応的に切り替えることを可能にする。 製品レベルの知識を活用するために,E-BERT を訓練し,製品に付随する隣人を認知的なクロスアテンション層で予測するNighbor Product Restruction を導入する。
• 参考スコア（独自算出の注目度）: 63.333860695727424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models such as BERT have achieved great success in a broad range of natural language processing tasks. However, BERT cannot well support E-commerce related tasks due to the lack of two levels of domain knowledge, i.e., phrase-level and product-level. On one hand, many E-commerce tasks require an accurate understanding of domain phrases, whereas such fine-grained phrase-level knowledge is not explicitly modeled by BERT's training objective. On the other hand, product-level knowledge like product associations can enhance the language modeling of E-commerce, but they are not factual knowledge thus using them indiscriminately may introduce noise. To tackle the problem, we propose a unified pre-training framework, namely, E-BERT. Specifically, to preserve phrase-level knowledge, we introduce Adaptive Hybrid Masking, which allows the model to adaptively switch from learning preliminary word knowledge to learning complex phrases, based on the fitting progress of two modes. To utilize product-level knowledge, we introduce Neighbor Product Reconstruction, which trains E-BERT to predict a product's associated neighbors with a denoising cross attention layer. Our investigation reveals promising results in four downstream tasks, i.e., review-based question answering, aspect extraction, aspect sentiment classification, and product classification.
• Abstract（参考訳）: BERTのような事前訓練された言語モデルは、幅広い自然言語処理タスクで大きな成功を収めている。 しかし、BERTは2つのレベルのドメイン知識、すなわちフレーズレベルと製品レベルがないため、Eコマース関連のタスクを十分にサポートできない。 一方、多くのEコマースタスクはドメインフレーズの正確な理解を必要とするが、そのようなきめ細かいフレーズレベルの知識はBERTの訓練目的によって明示的にモデル化されていない。 一方、製品アソシエーションのような製品レベルの知識は、Eコマースの言語モデリングを強化することができるが、これらは現実的な知識ではないため、非差別的にノイズをもたらす可能性がある。 そこで本研究では,E-BERTという統合事前学習フレームワークを提案する。 具体的には,2つのモードの適合性に基づいて,予備的単語知識の学習から複雑なフレーズの学習への適応的な切り替えを可能にする適応型ハイブリッドマスキングを提案する。 製品レベルの知識を活用するために,E-BERT を訓練し,商品の周辺を認知的関心層で予測するNighbor Product Restruction を導入する。 本研究は,レビューに基づく質問応答,アスペクト抽出,アスペクト感情分類,製品分類という4つの下流タスクにおいて有望な結果を示す。

関連論文リスト

• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning [18.838291575019504]
  事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。 辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。 我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-01T06:43:19Z)
• Knowledge Graph Fusion for Language Model Fine-tuning [0.0]
  BERTの微調整段階における知識導入のメリットについて検討する。 既存のK-BERTモデルは、知識グラフから三つ子で文を豊かにするものであり、英語に適応している。 K-BERTに変更された英語は、他の単語ベースの言語にも拡張されている。
  論文  参考訳（メタデータ） (2022-06-21T08:06:22Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)
• Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition [159.9312272042253]
  Wav-BERTは、協調的な音響および言語表現学習法である。 我々は、事前訓練された音響モデル(wav2vec 2.0)と言語モデル(BERT)をエンドツーエンドのトレーニング可能なフレームワークに統合する。
  論文  参考訳（メタデータ） (2021-09-19T16:39:22Z)
• K-PLUG: Knowledge-injected Pre-trained Language Model for Natural Language Understanding and Generation in E-Commerce [38.9878151656255]
  K-PLUGは、エンコーダデコーダトランスフォーマーに基づく知識インジェクション型プリトレーニング言語モデルです。 ドメイン特化知識の学習を定式化する5つの自己指導型事前学習目標を提案する。
  論文  参考訳（メタデータ） (2021-04-14T16:37:31Z)
• Cross-Lingual Low-Resource Set-to-Description Retrieval for Global E-Commerce [83.72476966339103]
  言語間情報検索は、国境を越えたeコマースにおける新しい課題である。 文脈依存型言語間マッピングの強化を図った新しい言語間マッチングネットワーク(CLMN)を提案する。 実験結果から,提案したCLMNは課題に対して印象的な結果をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2020-05-17T08:10:51Z)
• lamBERT: Language and Action Learning Using Multimodal BERT [0.1942428068361014]
  本研究では,マルチモーダルBERT(lamBERT)モデルを用いた言語と行動学習を提案する。 実験は、エージェントが適切に振る舞うために言語理解を必要とするグリッド環境で行われる。 lamBERTモデルは、他のモデルと比較してマルチタスク設定や転送設定において高い報酬を得た。
  論文  参考訳（メタデータ） (2020-04-15T13:54:55Z)
• Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
  この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。 シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
  論文  参考訳（メタデータ） (2020-02-18T11:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。