論文の概要: PAIR: Planning and Iterative Refinement in Pre-trained Transformers for Long Text Generation

• arxiv url: http://arxiv.org/abs/2010.02301v1
• Date: Mon, 5 Oct 2020 19:45:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 21:41:04.437953
• Title: PAIR: Planning and Iterative Refinement in Pre-trained Transformers for Long Text Generation
• Title（参考訳）: PAIR:長文生成のための事前学習型変圧器の計画と繰り返しリファインメント
• Authors: Xinyu Hua and Lu Wang
• Abstract要約: 本稿では,新しいコンテンツ制御型テキスト生成フレームワークであるPAIRについて,計画と反復的な改良を加えて紹介する。 まず、BERTモデルを用いて、キーフレーズの代入と対応する文レベルの位置からなるコンテンツプランを自動構築する。 そこで我々は,シーケンス・ツー・シーケンス・フレームワークにおける生成品質を徐々に向上させる改良アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 13.95267679486128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained Transformers have enabled impressive breakthroughs in generating long and fluent text, yet their outputs are often "rambling" without coherently arranged content. In this work, we present a novel content-controlled text generation framework, PAIR, with planning and iterative refinement, which is built upon a large model, BART. We first adapt the BERT model to automatically construct the content plans, consisting of keyphrase assignments and their corresponding sentence-level positions. The BART model is employed for generation without modifying its structure. We then propose a refinement algorithm to gradually enhance the generation quality within the sequence-to-sequence framework. Evaluation with automatic metrics shows that adding planning consistently improves the generation quality on three distinct domains, with an average of 20 BLEU points and 12 METEOR points improvements. In addition, human judges rate our system outputs to be more relevant and coherent than comparisons without planning.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーは、長くて流用なテキストを生成する際、印象的なブレークスルーを可能にしている。 本稿では,新しいコンテンツ制御型テキスト生成フレームワークであるペアと,大規模モデルであるbartを基盤とした計画と反復的改良を提案する。 まず、BERTモデルを用いて、キーフレーズの代入と対応する文レベルの位置からなるコンテンツプランを自動構築する。 BARTモデルは構造を変更することなく生成に使用される。 次に,シーケンシャル・ツー・シーケンス・フレームワークにおける生成品質を徐々に向上させる改良アルゴリズムを提案する。 自動メトリクスによる評価では、計画の追加は3つの異なる領域における生成品質を継続的に改善し、平均20のBLEUポイントと12のMETEORポイントが改善されている。 さらに、人間の判断は、システム出力が計画なしで比較するよりも関連性があり、一貫性があると評価します。

関連論文リスト

• A Combined Encoder and Transformer Approach for Coherent and High-Quality Text Generation [5.930799903736776]
  本研究は,BERTのセマンティック解釈強度とGPT-4の生成能力を組み合わせた新しいテキスト生成モデルを提案する。 このモデルはセマンティックディープを強化し、スムーズな人間のようなテキストフローを維持し、以前のモデルに見られる制限を克服する。
  論文  参考訳（メタデータ） (2024-11-19T01:41:56Z)
• Advancing Precise Outline-Conditioned Text Generation with Task Duality and Explicit Outline Control [15.881568820009797]
  そこで我々は,Precise Outline-conditioned Generationと呼ばれる新しいテキスト生成タスクを導入する。 このタスクは、特定の文レベルのアウトラインに基づいてストーリーを生成する必要がある。 本稿では,要約と生成のタスク双対性を生かした,明示的なアウトライン利用制御手法と新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T18:33:52Z)
• Sequentially Controlled Text Generation [97.22539956688443]
  GPT-2は、驚くほど人間らしく、長い文書が混ざり合ったり、人間のような文章構造に従わなかったりする文を生成する。 本研究では,長距離テキストにおける命令構造の問題について検討する。 生成と編集が可能な逐次制御型テキスト生成パイプラインを開発した。
  論文  参考訳（メタデータ） (2023-01-05T21:23:51Z)
• PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation [47.97523895218194]
  本稿では,自己回帰型自己認識機構を利用してコンテンツ計画と表面実現を動的に行う新しい生成フレームワークを提案する。 本フレームワークは,単語のバッグをベースとした文レベルのセマンティックプランを維持するために,トランスフォーマーデコーダを潜在表現で強化する。
  論文  参考訳（メタデータ） (2022-03-17T05:52:35Z)
• Attend, Memorize and Generate: Towards Faithful Table-to-Text Generation in Few Shots [58.404516361586325]
  Few-shot table-to-text generation は、限られたデータを用いてテーブル内容を伝えるために、流動的で忠実な文を構成するタスクである。 本稿では,人間のテキスト生成プロセスに触発された新しい手法,覚醒と生成(AMG)を提案する。
  論文  参考訳（メタデータ） (2022-03-01T20:37:20Z)
• Data-to-text Generation with Variational Sequential Planning [74.3955521225497]
  非言語的な入力からテキスト出力を生成することを目的としたデータ・ツー・テキスト生成の課題について考察する。 協調的かつ有意義な方法で高レベルの情報を整理する責任を負う計画要素を付加したニューラルモデルを提案する。 我々は、計画と生成のステップをインターリーブしながら、構造化された変動モデルで逐次、潜在計画を推測する。
  論文  参考訳（メタデータ） (2022-02-28T13:17:59Z)
• OptAGAN: Entropy-based finetuning on text VAE-GAN [1.941730292017383]
  最近、変分オートエンコーダ(VAE)がリリースされた。 BERTとGPT-2の2つの事前訓練モデルを組み合わせている。 独創的だが、非常に人間らしい文体を創出する。
  論文  参考訳（メタデータ） (2021-09-01T08:23:19Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。