論文の概要: A Plug-and-Play Method for Controlled Text Generation

• arxiv url: http://arxiv.org/abs/2109.09707v1
• Date: Mon, 20 Sep 2021 17:27:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-21 18:15:42.463267
• Title: A Plug-and-Play Method for Controlled Text Generation
• Title（参考訳）: 制御されたテキスト生成のためのプラグアンドプレイ法
• Authors: Damian Pascual, Beni Egressy, Clara Meister, Ryan Cotterell, Roger Wattenhofer
• Abstract要約: 制御言語生成のためのプラグイン・アンド・プレイ復号法を提案する。 このアプローチの単純さにもかかわらず、実際に驚くほどうまく機能しているのが分かります。
• 参考スコア（独自算出の注目度）: 38.283313068622085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pre-trained language models have repeatedly shown their ability to produce fluent text. Yet even when starting from a prompt, generation can continue in many plausible directions. Current decoding methods with the goal of controlling generation, e.g., to ensure specific words are included, either require additional models or fine-tuning, or work poorly when the task at hand is semantically unconstrained, e.g., story generation. In this work, we present a plug-and-play decoding method for controlled language generation that is so simple and intuitive, it can be described in a single sentence: given a topic or keyword, we add a shift to the probability distribution over our vocabulary towards semantically similar words. We show how annealing this distribution can be used to impose hard constraints on language generation, something no other plug-and-play method is currently able to do with SOTA language generators. Despite the simplicity of this approach, we see it works incredibly well in practice: decoding from GPT-2 leads to diverse and fluent sentences while guaranteeing the appearance of given guide words. We perform two user studies, revealing that (1) our method outperforms competing methods in human evaluations; and (2) forcing the guide words to appear in the generated text has no impact on the fluency of the generated text.
• Abstract（参考訳）: 大規模な事前訓練された言語モデルは、流線型テキストを生成する能力を繰り返し示してきた。 しかし、プロンプトから始めると、生成は多くの可能な方向に進むことができる。 現在の復号法は、例えば、特定の単語を含むことを保証するために、追加のモデルや微調整を必要とするか、手作業が意味的に制約されていない場合、例えばストーリー生成など、うまく機能しない。 本稿では,制御された言語生成のためのプラグ・アンド・プレイ復号法を提案する。この手法は非常に単純で直感的であり,単一文で記述することができる。 我々は,この分布のアニーリングが言語生成に厳しい制約を課すことができることを示す。 GPT-2からの復号は、与えられたガイド語の出現を保証しながら、多様で流動的な文を生み出す。 本研究では,(1) 提案手法が人間の評価において競合する手法より優れていること,(2) 生成したテキストにガイド語を強制することは,生成したテキストの流布に影響を与えないことを明らかにする。

関連論文リスト

• DECIDER: A Dual-System Rule-Controllable Decoding Framework for Language Generation [57.07295906718989]
  制約付き復号法は,事前学習言語モデル(PLM)が生成するテキストの意味やスタイルを,推論中に特定のターゲット語を用いて制御することを目的としている。 我々は, PLM を制御するためのタスクの完了方法に関するルールをプログラムできる新しい復号化フレームワーク DECIDER を提案する。
  論文  参考訳（メタデータ） (2024-03-04T11:49:08Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• TextDiffuser-2: Unleashing the Power of Language Models for Text Rendering [118.30923824681642]
  TextDiffuser-2は、テキストレンダリングのための言語モデルのパワーを解き放つことを目的としている。 拡散モデル内の言語モデルを用いて,行レベルでの位置とテキストを符号化する。 我々は広範な実験を行い、GPT-4Vと同様に、ヒトの参加者を含むユーザスタディを取り入れた。
  論文  参考訳（メタデータ） (2023-11-28T04:02:40Z)
• Most Language Models can be Poets too: An AI Writing Assistant and Constrained Text Generation Studio [0.5097809301149341]
  ほとんどの言語モデルは、大きな制約の下でも魅力的なテキストを生成する。 本稿では,言語モデルの語彙にフィルタ関数を合成することにより,言語モデルの出力を変更する手法を提案する。 また,この技術であるGadsbyを紹介するHuggingfaceスペースWebアプリケーションについても紹介する。
  論文  参考訳（メタデータ） (2023-06-28T05:10:51Z)
• Collocation2Text: Controllable Text Generation from Guide Phrases in Russian [0.0]
  Collocation2Textはロシア語で自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である。 この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。 提案手法を用いてニュース記事を生成する実験は,自動生成された流布文に対して有効性を示した。
  論文  参考訳（メタデータ） (2022-06-18T17:10:08Z)
• Language modeling via stochastic processes [30.796382023812022]
  現代の言語モデルは高品質の短いテキストを生成することができるが、長いテキストを生成するときにはしばしばメランジェや不整合である。 自己教師付き学習における最近の研究は、モデルが対照的な学習を通して優れた潜在表現を学習できることを示唆している。 本稿では,時間制御と呼ばれる構成表現を活用する方法を提案する。
  論文  参考訳（メタデータ） (2022-03-21T22:13:53Z)
• Controllable Natural Language Generation with Contrastive Prefixes [120.12778570283956]
  GPT2生成は、自然言語生成を操るために、プレフィックスと呼ばれる小さな属性固有のベクトルのセットを利用する。 単一アスペクト制御のための接頭辞を訓練するための新しい教師なし手法と教師なし手法を提案する。 単一アスペクト制御と多アスペクト制御の両方の実験結果から,提案手法は高い言語的品質を維持しつつ,所望の属性に向かって生成を導くことができることがわかった。
  論文  参考訳（メタデータ） (2022-02-27T00:31:03Z)
• Directed Beam Search: Plug-and-Play Lexically Constrained Language Generation [6.2211479935811775]
  最先端の言語モデルは、管理可能な時間でスクラッチからトレーニングするには大きすぎる。 語彙制約付き言語生成のためのプラグイン・アンド・プレイ方式であるDirected Beam Search (DBS)を提案する。
  論文  参考訳（メタデータ） (2020-12-31T03:05:44Z)
• Facts2Story: Controlling Text Generation by Key Facts [0.0]
  自然言語で表現された一連の事実を、より長い物語に展開し、制御された生成タスクを提案する。 我々は、GPT2のような自動回帰型一方向言語モデルは、より良い流動性を生み出すが、彼らは要求された事実に従うのに苦労することを示した。 本稿では,要求されるコンテンツに固執しながら,競争的フラッテンシーを生み出すプラン・アンド・クローズモデル(微調整xlnet)を提案する。
  論文  参考訳（メタデータ） (2020-12-08T10:14:29Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。