論文の概要: Controlled Text Generation with Natural Language Instructions
- arxiv url: http://arxiv.org/abs/2304.14293v1
- Date: Thu, 27 Apr 2023 15:56:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 12:51:30.611104
- Title: Controlled Text Generation with Natural Language Instructions
- Title（参考訳）: 自然言語命令によるテキスト生成制御
- Authors: Wangchunshu Zhou, Yuchen Eleanor Jiang, Ethan Wilcox, Ryan Cotterell,
Mrinmaya Sachan
- Abstract要約: InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。
まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。
制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
- 参考スコア（独自算出の注目度）: 74.88938055638636
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models generate fluent texts and can follow natural language
instructions to solve a wide range of tasks without task-specific training.
Nevertheless, it is notoriously difficult to control their generation to
satisfy the various constraints required by different applications. In this
work, we present InstructCTG, a controlled text generation framework that
incorporates different constraints by conditioning on natural language
descriptions and demonstrations of the constraints. In particular, we first
extract the underlying constraints of natural texts through a combination of
off-the-shelf NLP tools and simple heuristics. We then verbalize the
constraints into natural language instructions to form weakly supervised
training data. By prepending natural language descriptions of the constraints
and a few demonstrations, we fine-tune a pre-trained language model to
incorporate various types of constraints. Compared to existing search-based or
score-based methods, InstructCTG is more flexible to different constraint types
and has a much smaller impact on the generation quality and speed because it
does not modify the decoding procedure. Additionally, InstructCTG allows the
model to adapt to new constraints without re-training through the use of
few-shot task generalization and in-context learning abilities of
instruction-tuned language models.
- Abstract（参考訳）: 大規模な言語モデルは、フルーエントテキストを生成し、タスク固有のトレーニングなしで幅広いタスクを解決するために、自然言語命令に従うことができる。
それにもかかわらず、異なるアプリケーションに必要な様々な制約を満たすために、それらの世代を制御することは、悪名高い。
本稿では,自然言語記述の条件付けと制約の実証により,異なる制約を取り入れた制御型テキスト生成フレームワークinstructctgを提案する。
特に,本研究では,既製のNLPツールと単純なヒューリスティックスを組み合わせて,自然文の基本的制約を抽出する。
次に、制約を自然言語命令に言語化し、弱教師付きトレーニングデータを形成する。
制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
既存のサーチベースやスコアベースの手法と比較して、InstructCTGは異なる制約タイプに対して柔軟であり、デコード手順を変更しないため、生成品質と速度への影響ははるかに小さい。
さらに、インストラクトCTGは、数ショットのタスク一般化と命令チューニング言語モデルのコンテキスト内学習機能を使用することで、モデルを再訓練することなく、新しい制約に適応することができる。
関連論文リスト
- Intertwining CP and NLP: The Generation of Unreasonably Constrained Sentences [49.86129209397701]
本稿では,この問題を解決するためにConstraints First Frameworkを提案する。
これは、言語特性とより古典的な制約を組み合わせた制約プログラミング手法によって解決される。
このアプローチの有効性は、より退屈な制約付きテキスト生成問題に取り組むことで実証される。
論文 参考訳（メタデータ） (2024-06-15T17:40:49Z) - Controllable Text Generation in the Instruction-Tuning Era [3.310278632293704]
プロンプトベースのアプローチは,ほとんどのデータセットやタスクにおいて,制御可能なテキスト生成方法よりも優れていることがわかった。
制約データセットを自動的に生成するために,タスクデータセットとコンテキスト内機能を備えた大規模言語モデルのみを使用するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2024-05-02T17:24:30Z) - Toward Unified Controllable Text Generation via Regular Expression
Instruction [56.68753672187368]
本稿では,正規表現の利点をフル活用し,多様な制約を一様にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。
提案手法では,中規模言語モデルの微調整や,大規模言語モデルでの少数ショット・インコンテクスト学習のみを要し,各種制約の組み合わせに適用した場合のさらなる調整は不要である。
論文 参考訳（メタデータ） (2023-09-19T09:05:14Z) - COLLIE: Systematic Construction of Constrained Text Generation Tasks [33.300039566331876]
COLLIEは文法ベースのフレームワークで、多種多様な世代レベルのリッチで構成的な制約を仕様化することができる。
本研究では,制約構造と生テキストコーパスが与えられたタスクインスタンスの自動抽出ツールを開発する。
我々は、最先端の5つの言語モデルに対して体系的な実験を行い、その性能を分析し、欠点を明らかにする。
論文 参考訳（メタデータ） (2023-07-17T17:48:51Z) - Tractable Control for Autoregressive Language Generation [82.79160918147852]
本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。
本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。
我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
論文 参考訳（メタデータ） (2023-04-15T00:19:44Z) - Controllable Text Generation with Language Constraints [39.741059642044874]
本稿では,自然言語に制約のある言語モデルにおけるテキスト生成の課題について考察する。
私たちのベンチマークには、WordnetやWikidataといったデータベースから得られる知識集約的な制約が含まれています。
本稿では,言語モデルの内部知識を活用して生成をガイドする手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T17:39:21Z) - Bridging the Gap Between Training and Inference of Bayesian Controllable
Language Models [58.990214815032495]
大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。
BCLMは制御可能な言語生成において効率的であることが示されている。
本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
論文 参考訳（メタデータ） (2022-06-11T12:52:32Z) - COLD Decoding: Energy-based Constrained Text Generation with Langevin
Dynamics [69.8062252611486]
コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。
制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
論文 参考訳（メタデータ） (2022-02-23T18:59:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。