論文の概要: Improving Text Auto-Completion with Next Phrase Prediction

• arxiv url: http://arxiv.org/abs/2109.07067v1
• Date: Wed, 15 Sep 2021 04:26:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 15:07:31.484465
• Title: Improving Text Auto-Completion with Next Phrase Prediction
• Title（参考訳）: 次のフレーズ予測によるテキスト自動補完の改善
• Authors: Dong-Ho Lee, Zhiqiang Hu and Roy Ka-Wei Lee
• Abstract要約: 我々の戦略は、Next Phrase Prediction (NPP)と呼ばれる新しい自己指導型トレーニング目標を含む。 予備実験により,メールや学術書記ドメインの自動補完において,本手法がベースラインより優れていることが示された。
• 参考スコア（独自算出の注目度）: 9.385387026783103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models such as GPT-2 have performed well on constructing syntactically sound sentences for text auto-completion task. However, such models often require considerable training effort to adapt to specific writing domains (e.g., medical). In this paper, we propose an intermediate training strategy to enhance pre-trained language models' performance in the text auto-completion task and fastly adapt them to specific domains. Our strategy includes a novel self-supervised training objective called Next Phrase Prediction (NPP), which encourages a language model to complete the partial query with enriched phrases and eventually improve the model's text auto-completion performance. Preliminary experiments have shown that our approach is able to outperform the baselines in auto-completion for email and academic writing domains.
• Abstract（参考訳）: GPT-2のような言語モデルは、テキスト自動補完タスクのための構文的音声文の構築においてよく機能している。 しかし、そのようなモデルは特定の記述領域(例えば医学)に適応するためにかなりの訓練を要することが多い。 本稿では,テキスト自動補完タスクにおける事前学習言語モデルの性能を向上し,特定のドメインに迅速に適応するための中間訓練戦略を提案する。 提案手法は,新しい自己教師付き学習目標であるnext phrase prediction (npp) を含む。これは言語モデルに拡張されたフレーズで部分的クエリを完了させ,最終的にモデルのテキストの自動補完性能を向上させる。 予備実験により,電子メールおよび学術書き込みドメインの自動補完において,本手法がベースラインを上回ることができることを示した。

関連論文リスト

• Cross-domain Chinese Sentence Pattern Parsing [67.1381983012038]
  文パターン構造解析(SPS)は、主に言語教育に使用される構文解析法である。 既存のSPSは教科書のコーパスに大きく依存しており、クロスドメイン機能に欠ける。 本稿では,大規模言語モデル(LLM)を自己学習フレームワーク内で活用する革新的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T05:30:48Z)
• Evolutionary Verbalizer Search for Prompt-based Few Shot Text Classification [5.583948835737293]
  提案手法は,提案手法を改良した新しい進化型動詞処理アルゴリズムであるEVSを提案する。 本稿では,最適な動詞処理器を自動構築することに集中し,高速な動詞処理器を用いたプロンプトベースチューニングを改善するための新しいEVSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-18T10:03:11Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Few-Shot Text Generation with Pattern-Exploiting Training [12.919486518128734]
  本稿では,テキスト生成タスクにも基礎となるアイデアが適用可能であることを示す。 最近提案された少数のショットアプローチであるPattern-Exploiting Training(PET)を、テキスト生成タスクで生成言語モデルを微調整するために適用します。
  論文  参考訳（メタデータ） (2020-12-22T10:53:07Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
  テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。 本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-04T05:45:13Z)
• An Empirical Investigation of Pre-Trained Transformer Language Models for Open-Domain Dialogue Generation [23.343006562849126]
  本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。 事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。 実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
  論文  参考訳（メタデータ） (2020-03-09T15:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。