論文の概要: AutoTemplate: A Simple Recipe for Lexically Constrained Text Generation
- arxiv url: http://arxiv.org/abs/2211.08387v2
- Date: Fri, 9 Aug 2024 23:34:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 01:29:38.991114
- Title: AutoTemplate: A Simple Recipe for Lexically Constrained Text Generation
- Title(参考訳): AutoTemplate: 語彙的に制約のあるテキスト生成のためのシンプルなレシピ
- Authors: Hayate Iso,
- Abstract要約: シンプルなが効果的な語彙制約付きテキスト生成フレームワークであるAutoTemplateを紹介する。
本稿では,キーワード対文生成とエンティティ誘導要約という2つのタスクについて実験を行う。
実験の結果、AutoTemplateは両方のタスクで競合するベースラインを上回っていることがわかった。
- 参考スコア(独自算出の注目度): 2.7763177595791655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lexically constrained text generation is one of the constrained text generation tasks, which aims to generate text that covers all the given constraint lexicons. While the existing approaches tackle this problem using a lexically constrained beam search algorithm or dedicated model using non-autoregressive decoding, there is a trade-off between the generated text quality and the hard constraint satisfaction. We introduce AutoTemplate, a simple yet effective lexically constrained text generation framework divided into template generation and lexicalization tasks. The template generation is to generate the text with the placeholders, and lexicalization replaces them into the constraint lexicons to perform lexically constrained text generation. We conducted the experiments on two tasks: keywords-to-sentence generations and entity-guided summarization. Experimental results show that the AutoTemplate outperforms the competitive baselines on both tasks while satisfying the hard lexical constraints. The code is available at https://github.com/megagonlabs/autotemplate
- Abstract(参考訳): 語彙制約付きテキスト生成は制約付きテキスト生成タスクの1つであり、与えられた制約レキシコンをすべてカバーするテキストを生成することを目的としている。
既存の手法では、非自己回帰復号法を用いて、語彙制約付きビームサーチアルゴリズムや専用モデルを用いてこの問題に対処するが、生成したテキスト品質とハード制約満足度との間にはトレードオフがある。
本稿では,テンプレート生成タスクと語彙化タスクに分割した,シンプルで効果的な語彙制約付きテキスト生成フレームワークであるAutoTemplateを紹介する。
テンプレート生成は、プレースホルダーでテキストを生成することであり、レキシカル化はそれらを制約レキシコンに置き換えて、レキシカルに制約されたテキスト生成を実行する。
我々は,キーワードから文への世代生成とエンティティ誘導の要約という2つのタスクについて実験を行った。
実験結果から,AutoTemplateは両タスクの競合ベースラインより優れ,難解な語彙制約を満たすことがわかった。
コードはhttps://github.com/megagonlabs/autotemplateで入手できる。
関連論文リスト
- Efficient Guided Generation for Large Language Models [0.21485350418225244]
本稿では, 有限状態マシンの状態間の遷移の観点から, ニューラルテキスト生成の問題を構成的に再構成する方法を示す。
このフレームワークは、正規表現と文脈自由文法でテキスト生成を導くための効率的なアプローチをもたらす。
論文 参考訳(メタデータ) (2023-07-19T01:14:49Z) - Copy Is All You Need [66.00852205068327]
既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。
提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。
当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
論文 参考訳(メタデータ) (2023-07-13T05:03:26Z) - Tractable Control for Autoregressive Language Generation [82.79160918147852]
本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。
本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。
我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
論文 参考訳(メタデータ) (2023-04-15T00:19:44Z) - Event Transition Planning for Open-ended Text Generation [55.729259805477376]
オープンエンドテキスト生成タスクは、事前コンテキストに制限されたコヒーレントな継続を生成するためにモデルを必要とする。
オープンエンドテキスト生成におけるイベントを明示的にアレンジする新しい2段階手法を提案する。
我々のアプローチは、特別に訓練された粗大なアルゴリズムとして理解することができる。
論文 参考訳(メタデータ) (2022-04-20T13:37:51Z) - COLD Decoding: Energy-based Constrained Text Generation with Langevin
Dynamics [69.8062252611486]
コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。
制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
論文 参考訳(メタデータ) (2022-02-23T18:59:27Z) - Text Editing by Command [82.50904226312451]
ニューラルテキスト生成における一般的なパラダイムは、単一のステップでテキストを生成するワンショット生成である。
この制限をユーザが既存のテキストを編集するコマンドを発行することでシステムと対話するインタラクティブテキスト生成設定で解決する。
このデータセットに基づいてトレーニングされたトランスフォーマーベースモデルであるInteractive Editorは,ベースラインを上回り,自動評価と人的評価の両方において肯定的な結果が得られることを示す。
論文 参考訳(メタデータ) (2020-10-24T08:00:30Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳(メタデータ) (2020-05-01T18:11:54Z) - Felix: Flexible Text Editing Through Tagging and Insertion [21.55417495142206]
Felixはフレキシブルなテキスト編集方式で、双方向コンテキストによるデコードと自己教師型事前学習のアイデアから最大限の利益を得るように設計されている。
テキスト編集タスクを2つのサブタスクに分解し、入力トークンのサブセットと出力テキストの順番をタグ付けし、入力に存在しない出力に欠落したトークンを埋め込む。
論文 参考訳(メタデータ) (2020-03-24T07:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。