論文の概要: Directed Beam Search: Plug-and-Play Lexically Constrained Language Generation

• arxiv url: http://arxiv.org/abs/2012.15416v1
• Date: Thu, 31 Dec 2020 03:05:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:29:25.513881
• Title: Directed Beam Search: Plug-and-Play Lexically Constrained Language Generation
• Title（参考訳）: Directed Beam Search: Plug-and-Play Rexically Constrained Language Generation
• Authors: Damian Pascual, Beni Egressy, Florian Bolli, Roger Wattenhofer
• Abstract要約: 最先端の言語モデルは、管理可能な時間でスクラッチからトレーニングするには大きすぎる。 語彙制約付き言語生成のためのプラグイン・アンド・プレイ方式であるDirected Beam Search (DBS)を提案する。
• 参考スコア（独自算出の注目度）: 6.2211479935811775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large pre-trained language models are capable of generating realistic text. However, controlling these models so that the generated text satisfies lexical constraints, i.e., contains specific words, is a challenging problem. Given that state-of-the-art language models are too large to be trained from scratch in a manageable time, it is desirable to control these models without re-training them. Methods capable of doing this are called plug-and-play. Recent plug-and-play methods have been successful in constraining small bidirectional language models as well as forward models in tasks with a restricted search space, e.g., machine translation. However, controlling large transformer-based models to meet lexical constraints without re-training them remains a challenge. In this work, we propose Directed Beam Search (DBS), a plug-and-play method for lexically constrained language generation. Our method can be applied to any language model, is easy to implement and can be used for general language generation. In our experiments we use DBS to control GPT-2. We demonstrate its performance on keyword-to-phrase generation and we obtain comparable results as a state-of-the-art non-plug-and-play model for lexically constrained story generation.
• Abstract（参考訳）: 大規模な事前訓練された言語モデルは、現実的なテキストを生成することができる。 しかし、生成されたテキストが特定の単語を含む語彙的制約を満たすようにモデルを制御することは難しい問題である。 最先端の言語モデルはスクラッチからトレーニングするには大きすぎるので、再トレーニングすることなくこれらのモデルを制御することが望ましい。 これをプラグ・アンド・プレイと呼ぶ。 最近のプラグ・アンド・プレイ方式は、小さな双方向言語モデルや、例えば機械翻訳のような限定された検索空間を持つタスクの前方モデルを制限することに成功している。 しかし、レキシカル制約を満たすために大きなトランスフォーマーベースのモデルを制御することは、それらを再訓練せずには困難である。 本研究では,語彙制約付き言語生成のためのプラグアンドプレイ方式であるdirected beam search(dbs)を提案する。 提案手法は任意の言語モデルに適用可能であり,実装が容易であり,汎用言語生成に利用することができる。 実験では、GPT-2を制御するためにDBSを使用しました。 キーワード対フレーズ生成の性能を実証し,語彙制約付きストーリー生成のための最先端のノンプラグ・アンド・プレイモデルとして同等の結果を得た。

関連論文リスト

• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)
• Exploring Cross-lingual Textual Style Transfer with Large Multilingual Language Models [78.12943085697283]
  デトキシフィケーション(detoxification)とは、本来の有毒なテキストの意味と流布を保ちつつ、丁寧なスタイルでテキストを生成するタスクである。 本研究は,多言語および多言語間の解毒と,このような大規模多言語モデルの挙動について検討する。
  論文  参考訳（メタデータ） (2022-06-05T20:02:30Z)
• TextPruner: A Model Pruning Toolkit for Pre-Trained Language Models [18.49325959450621]
  我々は、事前訓練された言語モデルのためのオープンソースのモデルプルーニングツールキットであるTextPrunerを紹介する。 TextPrunerは、ボキャブラリプルーニングやトランスフォーマープルーニングなどの構造化後プルーニング方法を提供する。 いくつかのNLPタスクによる実験では、モデルを再トレーニングすることなく、TextPrunerがモデルサイズを縮小できることを示した。
  論文  参考訳（メタデータ） (2022-03-30T02:10:33Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• A Plug-and-Play Method for Controlled Text Generation [38.283313068622085]
  制御言語生成のためのプラグイン・アンド・プレイ復号法を提案する。 このアプローチの単純さにもかかわらず、実際に驚くほどうまく機能しているのが分かります。
  論文  参考訳（メタデータ） (2021-09-20T17:27:03Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。