論文の概要: Controllable Text Generation with Language Constraints

• arxiv url: http://arxiv.org/abs/2212.10466v1
• Date: Tue, 20 Dec 2022 17:39:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 15:46:47.208009
• Title: Controllable Text Generation with Language Constraints
• Title（参考訳）: 言語制約を伴う制御可能なテキスト生成
• Authors: Howard Chen, Huihan Li, Danqi Chen, Karthik Narasimhan
• Abstract要約: 本稿では,自然言語に制約のある言語モデルにおけるテキスト生成の課題について考察する。 私たちのベンチマークには、WordnetやWikidataといったデータベースから得られる知識集約的な制約が含まれています。 本稿では,言語モデルの内部知識を活用して生成をガイドする手法を提案する。
• 参考スコア（独自算出の注目度）: 39.741059642044874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the task of text generation in language models with constraints specified in natural language. To this end, we first create a challenging benchmark Cognac that provides as input to the model a topic with example text, along with a constraint on text to be avoided. Unlike prior work, our benchmark contains knowledge-intensive constraints sourced from databases like Wordnet and Wikidata, which allows for straightforward evaluation while striking a balance between broad attribute-level and narrow lexical-level controls. We find that even state-of-the-art language models like GPT-3 fail often on this task, and propose a solution to leverage a language model's own internal knowledge to guide generation. Our method, called CognacGen, first queries the language model to generate guidance terms for a specified topic or constraint, and uses the guidance to modify the model's token generation probabilities. We propose three forms of guidance (binary verifier, top-k tokens, textual example), and employ prefix-tuning approaches to distill the guidance to tackle diverse natural language constraints. Through extensive empirical evaluations, we demonstrate that CognacGen can successfully generalize to unseen instructions and outperform competitive baselines in generating constraint conforming text.
• Abstract（参考訳）: 自然言語に制約のある言語モデルにおけるテキスト生成の課題について考察する。 この目的のために、私たちはまず、サンプルテキストを含むモデルのトピックへの入力として、回避すべきテキストに対する制約を提供する、挑戦的なベンチマークであるCognacを作成しました。 これまでの作業とは異なり、我々のベンチマークにはWordnetやWikidataといったデータベースからの知識集約的な制約が含まれており、広い属性レベルと狭い語彙レベルのコントロールのバランスを保ちながら、簡単に評価できる。 GPT-3のような最先端の言語モデルでさえ、このタスクでは頻繁に失敗し、生成をガイドするために言語モデルの内部知識を活用するソリューションを提案する。 提案手法はCognacGenと呼ばれ,まず言語モデルに問い合わせて,特定のトピックや制約に対するガイダンス項を生成し,そのガイダンスを用いて,モデルのトークン生成確率を変化させる。 本稿では,3種類のガイダンス(バイナリ検証,トップkトークン,テキスト例)を提案し,様々な自然言語制約に取り組むためのガイダンスを蒸留するプレフィックスチューニング手法を採用する。 広範な経験的評価を通じて,コニャックジェネレーションが不明瞭な命令に一般化し,制約に適合するテキストを生成する際の競争ベースラインよりも優れていることを示す。

関連論文リスト

• Controllable Text Generation in the Instruction-Tuning Era [3.310278632293704]
  プロンプトベースのアプローチは,ほとんどのデータセットやタスクにおいて,制御可能なテキスト生成方法よりも優れていることがわかった。 制約データセットを自動的に生成するために,タスクデータセットとコンテキスト内機能を備えた大規模言語モデルのみを使用するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2024-05-02T17:24:30Z)
• Toward Unified Controllable Text Generation via Regular Expression Instruction [56.68753672187368]
  本稿では,正規表現の利点をフル活用し,多様な制約を一様にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。 提案手法では,中規模言語モデルの微調整や,大規模言語モデルでの少数ショット・インコンテクスト学習のみを要し,各種制約の組み合わせに適用した場合のさらなる調整は不要である。
  論文  参考訳（メタデータ） (2023-09-19T09:05:14Z)
• Efficient Guided Generation for Large Language Models [0.21485350418225244]
  本稿では, 有限状態マシンの状態間の遷移の観点から, ニューラルテキスト生成の問題を構成的に再構成する方法を示す。 このフレームワークは、正規表現と文脈自由文法でテキスト生成を導くための効率的なアプローチをもたらす。
  論文  参考訳（メタデータ） (2023-07-19T01:14:49Z)
• COLLIE: Systematic Construction of Constrained Text Generation Tasks [33.300039566331876]
  COLLIEは文法ベースのフレームワークで、多種多様な世代レベルのリッチで構成的な制約を仕様化することができる。 本研究では,制約構造と生テキストコーパスが与えられたタスクインスタンスの自動抽出ツールを開発する。 我々は、最先端の5つの言語モデルに対して体系的な実験を行い、その性能を分析し、欠点を明らかにする。
  論文  参考訳（メタデータ） (2023-07-17T17:48:51Z)
• Controlled Text Generation with Natural Language Instructions [74.88938055638636]
  InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。 まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。 制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-04-27T15:56:34Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)
• Towards Faithful Neural Table-to-Text Generation with Content-Matching Constraints [63.84063384518667]
  そこで本研究では,トランスフォーマーをベースとした新たな生成フレームワークを提案する。 忠実度を強制する手法の中核となる技術は、テーブル-テキストの最適トランスポート・マッチング・ロスである。 忠実度を評価するため,テーブル・ツー・テキスト生成問題に特化した新しい自動尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。