論文の概要: Directed Beam Search: Plug-and-Play Lexically Constrained Language Generation

• arxiv url: http://arxiv.org/abs/2012.15416v1
• Date: Thu, 31 Dec 2020 03:05:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:29:25.513881
• Title: Directed Beam Search: Plug-and-Play Lexically Constrained Language Generation
• Title（参考訳）: Directed Beam Search: Plug-and-Play Rexically Constrained Language Generation
• Authors: Damian Pascual, Beni Egressy, Florian Bolli, Roger Wattenhofer
• Abstract要約: 最先端の言語モデルは、管理可能な時間でスクラッチからトレーニングするには大きすぎる。 語彙制約付き言語生成のためのプラグイン・アンド・プレイ方式であるDirected Beam Search (DBS)を提案する。
• 参考スコア（独自算出の注目度）: 6.2211479935811775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large pre-trained language models are capable of generating realistic text. However, controlling these models so that the generated text satisfies lexical constraints, i.e., contains specific words, is a challenging problem. Given that state-of-the-art language models are too large to be trained from scratch in a manageable time, it is desirable to control these models without re-training them. Methods capable of doing this are called plug-and-play. Recent plug-and-play methods have been successful in constraining small bidirectional language models as well as forward models in tasks with a restricted search space, e.g., machine translation. However, controlling large transformer-based models to meet lexical constraints without re-training them remains a challenge. In this work, we propose Directed Beam Search (DBS), a plug-and-play method for lexically constrained language generation. Our method can be applied to any language model, is easy to implement and can be used for general language generation. In our experiments we use DBS to control GPT-2. We demonstrate its performance on keyword-to-phrase generation and we obtain comparable results as a state-of-the-art non-plug-and-play model for lexically constrained story generation.
• Abstract（参考訳）: 大規模な事前訓練された言語モデルは、現実的なテキストを生成することができる。 しかし、生成されたテキストが特定の単語を含む語彙的制約を満たすようにモデルを制御することは難しい問題である。 最先端の言語モデルはスクラッチからトレーニングするには大きすぎるので、再トレーニングすることなくこれらのモデルを制御することが望ましい。 これをプラグ・アンド・プレイと呼ぶ。 最近のプラグ・アンド・プレイ方式は、小さな双方向言語モデルや、例えば機械翻訳のような限定された検索空間を持つタスクの前方モデルを制限することに成功している。 しかし、レキシカル制約を満たすために大きなトランスフォーマーベースのモデルを制御することは、それらを再訓練せずには困難である。 本研究では,語彙制約付き言語生成のためのプラグアンドプレイ方式であるdirected beam search(dbs)を提案する。 提案手法は任意の言語モデルに適用可能であり,実装が容易であり,汎用言語生成に利用することができる。 実験では、GPT-2を制御するためにDBSを使用しました。 キーワード対フレーズ生成の性能を実証し,語彙制約付きストーリー生成のための最先端のノンプラグ・アンド・プレイモデルとして同等の結果を得た。

関連論文リスト

• Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation [16.49758711633611]
  大規模言語モデル(LLM)は、テキストベースのプロンプトに応答して、例外的な言語生成能力を示す。 本研究では,制御言語生成におけるPrompt Tuningの利用について検討する。 本稿では, 言語モデルによる有害, 有害, 偏見のあるテキストを緩和する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-08T01:54:28Z)
• FiLM: Fill-in Language Models for Any-Order Generation [71.42044325886194]
  Fill-in Language Model (FiLM) は、特定の生成順序に固執することなく任意の位置で柔軟な生成を可能にする新しい言語モデリング手法である。 推論中、FiLMは欠落したフレーズ、文、段落をシームレスに挿入できる。 FiLMは、再構成されたテキストセグメントでトレーニングされた左から右への言語モデルに依存する既存のインフィル手法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-15T19:37:39Z)
• Most Language Models can be Poets too: An AI Writing Assistant and Constrained Text Generation Studio [0.5097809301149341]
  ほとんどの言語モデルは、大きな制約の下でも魅力的なテキストを生成する。 本稿では,言語モデルの語彙にフィルタ関数を合成することにより,言語モデルの出力を変更する手法を提案する。 また,この技術であるGadsbyを紹介するHuggingfaceスペースWebアプリケーションについても紹介する。
  論文  参考訳（メタデータ） (2023-06-28T05:10:51Z)
• Extrapolating Multilingual Understanding Models as Multilingual Generators [82.1355802012414]
  本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。 少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:33:21Z)
• Tractable Control for Autoregressive Language Generation [82.79160918147852]
  本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。 本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。 我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
  論文  参考訳（メタデータ） (2023-04-15T00:19:44Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)
• A Plug-and-Play Method for Controlled Text Generation [38.283313068622085]
  制御言語生成のためのプラグイン・アンド・プレイ復号法を提案する。 このアプローチの単純さにもかかわらず、実際に驚くほどうまく機能しているのが分かります。
  論文  参考訳（メタデータ） (2021-09-20T17:27:03Z)
• GeDi: Generative Discriminator Guided Sequence Generation [53.15651536569169]
  本稿では,より小さなLMを生成的識別器として利用し,大規模なLMから生成を誘導する効率的な方法としてGeDiを提案する。 GeDiは最先端技術よりも制御性が強く,生成速度も30倍以上に向上することがわかった。
  論文  参考訳（メタデータ） (2020-09-14T17:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。