論文の概要: Generating texts under constraint through discriminator-guided MCTS

• arxiv url: http://arxiv.org/abs/2109.13582v1
• Date: Tue, 28 Sep 2021 09:29:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-29 14:48:11.277463
• Title: Generating texts under constraint through discriminator-guided MCTS
• Title（参考訳）: 識別器誘導MCTSによる制約文の生成
• Authors: Antoine Chaffin, Vincent Claveau, Ewa Kijak
• Abstract要約: 判別器によって誘導される木探索プロセスとして制約付き世代を定式化する。 差別化器を用いて、LMを微調整するのではなく、この世代を導くことで、より微細かつ動的に制約を適用することができる。 提案手法は,言語モデルを調整することなく,制約付き生成の結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 1.3750624267664153
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large pre-trained language models (LM) based on Transformers allow to generate very plausible long texts. In this paper, we explore how this generation can be further controlled to satisfy certain constraints (eg. being non-toxic, positive or negative, convey certain emotions, etc.) without fine-tuning the LM. Precisely, we formalize constrained generation as a tree exploration process guided by a discriminator according to how well the associated sequence respects the constraint. Using a discriminator to guide this generation, rather than fine-tuning the LM, in addition to be easier and cheaper to train, allows to apply the constraint more finely and dynamically. We propose several original methods to search this generation tree, notably the Monte Carlo Tree Search (MCTS) which provides theoretical guarantees on the search efficiency, but also simpler methods based on re-ranking a pool of diverse sequences using the discriminator scores. We evaluate these methods on two types of constraints and languages: review polarity and emotion control in French and English. We show that MCTS achieves state-of-the-art results in constrained generation, without having to tune the language model, in both tasks and languages. We also demonstrate that our other proposed methods based on re-ranking can be really effective when diversity among the generated propositions is encouraged.
• Abstract（参考訳）: トランスフォーマーに基づく大きな事前学習言語モデル(lm)は、非常に説得力のある長いテキストを生成することができる。 本稿では, lmを微調整することなく, 特定の制約(非毒性, 肯定的, 否定的, 特定の感情を伝達するなど)を満たすために, この世代がさらに制御可能であることを検討する。 正確には、関係配列がどの程度制約を尊重するかに応じて、判別器によってガイドされる木探索プロセスとして制約付き生成を形式化する。 LMを微調整する代わりに、識別器を使ってこの世代をガイドし、訓練が簡単で安価に行えるようにすることで、制約をより細かく動的に適用することができる。 特にモンテカルロ木探索(MCTS)では探索効率を理論的に保証する手法が提案されているが,判別器のスコアを用いた多様な配列のプールの再評価に基づく簡易な手法も提案している。 これらの手法を2種類の制約と言語について評価した: フランス語と英語の極性と感情制御をレビューする。 MCTSは,タスクと言語の両方において,言語モデルを調整することなく,制約付き生成の最先端化を実現していることを示す。 また,提案手法は,生成提案の多様性が奨励された場合にも有効であることを示す。

関連論文リスト

• Constraints First: A New MDD-based Model to Generate Sentences Under Constraints [45.498315114762484]
  本稿では,強い制約のあるテキストを生成するための新しいアプローチを提案する。 制約に対処するためには、よく知られたデータ構造である多値決定図(MDD)を用いる。 私たちは、よく知られた視覚スクリーニングテスト(MNREAD)で通常利用できる数十の文と比較して、何百ものボナファイド候補文を得る。
  論文  参考訳（メタデータ） (2023-09-21T18:29:52Z)
• Controlled Text Generation with Natural Language Instructions [74.88938055638636]
  InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。 まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。 制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-04-27T15:56:34Z)
• Generating Sequences by Learning to Self-Correct [64.0249217590888]
  自己補正(Self-Correction)は、不完全な世代を反復的に修正する独立した修正器から不完全なベースジェネレータを分離する。 本稿では,3つの多種多様なタスクにおいて,自己補正がベースジェネレータを改善することを示す。
  論文  参考訳（メタデータ） (2022-10-31T18:09:51Z)
• Language Detoxification with Attribute-Discriminative Latent Space [59.167432249229584]
  トランスフォーマーベースの言語モデル(LM)は、自然言語理解タスクにおいて印象的な結果を得た。 また、侮辱、脅し、暴言などの有毒なテキストを生成でき、現実世界の応用を制限できる。 本稿では,属性識別型潜在空間を用いた効果的かつ効率的な言語解毒法を提案する。
  論文  参考訳（メタデータ） (2022-10-19T06:54:42Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Controllable Natural Language Generation with Contrastive Prefixes [120.12778570283956]
  GPT2生成は、自然言語生成を操るために、プレフィックスと呼ばれる小さな属性固有のベクトルのセットを利用する。 単一アスペクト制御のための接頭辞を訓練するための新しい教師なし手法と教師なし手法を提案する。 単一アスペクト制御と多アスペクト制御の両方の実験結果から,提案手法は高い言語的品質を維持しつつ,所望の属性に向かって生成を導くことができることがわかった。
  論文  参考訳（メタデータ） (2022-02-27T00:31:03Z)
• Language Generation via Combinatorial Constraint Satisfaction: A Tree Search Enhanced Monte-Carlo Approach [24.897552102098324]
  文生成のための制約の指定を可能にするフレームワークを提案する。 本稿では,事前学習した言語モデルに対して,高い確率文を生成する効率的なTSMHを提案する。 このアプローチは非常に柔軟で、タスク固有のトレーニングを必要とせず、効率的な制約満足度解決技術を活用しています。
  論文  参考訳（メタデータ） (2020-11-24T19:21:00Z)
• GeDi: Generative Discriminator Guided Sequence Generation [53.15651536569169]
  本稿では,より小さなLMを生成的識別器として利用し,大規模なLMから生成を誘導する効率的な方法としてGeDiを提案する。 GeDiは最先端技術よりも制御性が強く,生成速度も30倍以上に向上することがわかった。
  論文  参考訳（メタデータ） (2020-09-14T17:45:36Z)
• ColdGANs: Taming Language GANs with Cautious Sampling Strategies [29.943949944682196]
  GAN(Generative Adversarial Networks)は制約を緩和するが、テキストの離散性によって言語生成への応用が妨げられている。 古典的なサンプリングが不安定なトレーニングにどのように影響するかを示す。 我々は,サンプルを分散モードに近づけることで,よりスムーズな学習ダイナミックスを実現するGANフレームワークにおいて,代替的な探索戦略を検討することを提案する。 我々の知る限りでは、提案言語 GAN は MLE と好意的に比較され、3つの生成タスクにおける最先端技術の改善が得られた。
  論文  参考訳（メタデータ） (2020-06-08T14:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。