論文の概要: Toward Unified Controllable Text Generation via Regular Expression Instruction

• arxiv url: http://arxiv.org/abs/2309.10447v2
• Date: Wed, 20 Sep 2023 02:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 10:28:21.625084
• Title: Toward Unified Controllable Text Generation via Regular Expression Instruction
• Title（参考訳）: 正規表現命令による統一制御可能なテキスト生成に向けて
• Authors: Xin Zheng, Hongyu Lin, Xianpei Han and Le Sun
• Abstract要約: 本稿では,正規表現の利点をフル活用し,多様な制約を一様にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。 提案手法では,中規模言語モデルの微調整や,大規模言語モデルでの少数ショット・インコンテクスト学習のみを要し,各種制約の組み合わせに適用した場合のさらなる調整は不要である。
• 参考スコア（独自算出の注目度）: 56.68753672187368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Controllable text generation is a fundamental aspect of natural language generation, with numerous methods proposed for different constraint types. However, these approaches often require significant architectural or decoding modifications, making them challenging to apply to additional constraints or resolve different constraint combinations. To address this, our paper introduces Regular Expression Instruction (REI), which utilizes an instruction-based mechanism to fully exploit regular expressions' advantages to uniformly model diverse constraints. Specifically, our REI supports all popular fine-grained controllable generation constraints, i.e., lexical, positional, and length, as well as their complex combinations, via regular expression-style instructions. Our method only requires fine-tuning on medium-scale language models or few-shot, in-context learning on large language models, and requires no further adjustment when applied to various constraint combinations. Experiments demonstrate that our straightforward approach yields high success rates and adaptability to various constraints while maintaining competitiveness in automatic metrics and outperforming most previous baselines.
• Abstract（参考訳）: 制御可能なテキスト生成は自然言語生成の基本的な側面であり、様々な制約タイプに対して多くの手法が提案されている。 しかし、これらのアプローチは、しばしば重要なアーキテクチャやデコードの変更を必要とするため、追加の制約の適用や異なる制約の組み合わせの解決が困難になる。 そこで本研究では,正規表現の利点をフル活用し,多様な制約を均一にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。 特に、REIは、正規表現スタイルの命令を通じて、語彙、位置、長さといった、一般的な粒度制御可能な生成制約をすべてサポートしています。 本手法は,中規模言語モデルの微調整や,大規模言語モデルにおけるコンテキスト内学習のみが必要であり,制約の組み合わせにも追加調整を要しない。 実験により、我々の単純なアプローチは、様々な制約に高い成功率と適応性をもたらしながら、自動メトリクスの競争力を保ち、以前のベースラインよりも優れています。

関連論文リスト

• Intertwining CP and NLP: The Generation of Unreasonably Constrained Sentences [49.86129209397701]
  本稿では,この問題を解決するためにConstraints First Frameworkを提案する。 これは、言語特性とより古典的な制約を組み合わせた制約プログラミング手法によって解決される。 このアプローチの有効性は、より退屈な制約付きテキスト生成問題に取り組むことで実証される。
  論文  参考訳（メタデータ） (2024-06-15T17:40:49Z)
• Controllable Text Generation in the Instruction-Tuning Era [3.310278632293704]
  プロンプトベースのアプローチは,ほとんどのデータセットやタスクにおいて,制御可能なテキスト生成方法よりも優れていることがわかった。 制約データセットを自動的に生成するために,タスクデータセットとコンテキスト内機能を備えた大規模言語モデルのみを使用するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2024-05-02T17:24:30Z)
• Controlled Text Generation with Natural Language Instructions [74.88938055638636]
  InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。 まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。 制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-04-27T15:56:34Z)
• Tractable Control for Autoregressive Language Generation [82.79160918147852]
  本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。 本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。 我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
  論文  参考訳（メタデータ） (2023-04-15T00:19:44Z)
• Controllable Text Generation with Language Constraints [39.741059642044874]
  本稿では,自然言語に制約のある言語モデルにおけるテキスト生成の課題について考察する。 私たちのベンチマークには、WordnetやWikidataといったデータベースから得られる知識集約的な制約が含まれています。 本稿では,言語モデルの内部知識を活用して生成をガイドする手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T17:39:21Z)
• An Extensible Plug-and-Play Method for Multi-Aspect Controllable Text Generation [70.77243918587321]
  複数の側面で生成されたテキストを制御するマルチアスペクト制御可能なテキスト生成が注目されている。 干渉に対する理論的な下界を提供し、プレフィックスが挿入される層の数に応じて干渉が増加することを経験的に見出した。 トレーニング可能なゲートを用いてプレフィックスの介入を正規化し、増大する干渉を抑制することを提案する。
  論文  参考訳（メタデータ） (2022-12-19T11:53:59Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。