論文の概要: Contextual BERT: Conditioning the Language Model Using a Global State

• arxiv url: http://arxiv.org/abs/2010.15778v1
• Date: Thu, 29 Oct 2020 17:25:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 22:52:27.885678
• Title: Contextual BERT: Conditioning the Language Model Using a Global State
• Title（参考訳）: コンテキストBERT:グローバルステートを用いた言語モデルの条件付け
• Authors: Timo I. Denk and Ana Peleteiro Ramallo
• Abstract要約: BERTは人気のある言語モデルであり、主要な事前学習タスクは空白を埋めることであり、文から隠された単語を予測することである。 しかし、いくつかのアプリケーションでは、追加のコンテキストを持つことによって、ドメインや書き込みの時間を考慮して、モデルが正しい予測を行うのに役立つ。 これは、固定サイズのコンテキストに条件付けのためのグローバルステートを追加することで、BERTアーキテクチャを前進させる動機となります。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: BERT is a popular language model whose main pre-training task is to fill in the blank, i.e., predicting a word that was masked out of a sentence, based on the remaining words. In some applications, however, having an additional context can help the model make the right prediction, e.g., by taking the domain or the time of writing into account. This motivates us to advance the BERT architecture by adding a global state for conditioning on a fixed-sized context. We present our two novel approaches and apply them to an industry use-case, where we complete fashion outfits with missing articles, conditioned on a specific customer. An experimental comparison to other methods from the literature shows that our methods improve personalization significantly.
• Abstract（参考訳）: BERTは人気のある言語モデルであり、主要な事前学習タスクは空白を埋めること、すなわち残りの単語に基づいて文から隠された単語を予測することである。 しかし、いくつかのアプリケーションでは、追加のコンテキストを持つことによって、ドメインや書き込みの時間を考慮して、モデルが正しい予測を行うのに役立つ。 これは、固定サイズのコンテキストに条件付けのためのグローバルステートを追加することで、BERTアーキテクチャを前進させる動機となります。 2つの新しいアプローチを示し、それを業界ユースケースに適用し、特定の顧客を前提とした、不足した記事でファッション衣装を完成させる。 文献による他の手法との比較により,本手法はパーソナライズを著しく向上させることが示された。

関連論文リスト

• BERTwich: Extending BERT's Capabilities to Model Dialectal and Noisy Text [10.581078276564089]
  本稿では,BERTのエンコーダスタックを,ノイズのあるテキスト上でマスキング言語モデリングを行うために訓練された追加エンコーダ層の間に挟み込むという新しいアイデアを紹介する。 我々は,文字レベルのノイズを微調整データに含める手法と組み合わせることで,方言テキストへのゼロショット転送を促進できることを見出した。
  論文  参考訳（メタデータ） (2023-10-31T19:44:50Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models [29.40992909208733]
  本研究では,会話コヒーレンスと文間距離をモデル化した言語モデルの事前学習のための文間目的であるconPONOを提案する。 談話表現ベンチマークのDiscoEvalでは、これまでの最先端技術よりも最大13%改善しています。 また,言論を明示的に評価しないタスクにおいても,ConPONOは2%～6%の利得が得られることを示した。
  論文  参考訳（メタデータ） (2020-05-20T23:21:43Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)
• Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection [22.883725214057286]
  本稿では,意図に基づく言語モデル学習のための新しいアーキテクチャを提案する。 そこで本研究では,意図分布,単語特徴,トークン表現を融合させることで,スロット充足作業の強化を図る。 標準データセットによる実験結果から,我々のモデルは現在の非BERT状態と,より強力なBERTベースラインの両方に優れることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T15:00:21Z)
• A Survey on Contextual Embeddings [48.04732268018772]
  文脈埋め込みは、各単語を文脈に基づく表現として割り当て、様々な文脈にまたがる単語の使用を捉え、言語間で伝達される知識を符号化する。 本稿では,既存の文脈埋め込みモデル,言語間多言語事前学習,下流タスクへの文脈埋め込みの適用,モデル圧縮,モデル解析についてレビューする。
  論文  参考訳（メタデータ） (2020-03-16T15:22:22Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。