論文の概要: Facts2Story: Controlling Text Generation by Key Facts

• arxiv url: http://arxiv.org/abs/2012.04332v1
• Date: Tue, 8 Dec 2020 10:14:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-17 08:03:08.315615
• Title: Facts2Story: Controlling Text Generation by Key Facts
• Title（参考訳）: Facts2Story:キーファクトによるテキスト生成の制御
• Authors: Eyal Orbach (Bar Ilan University), Yoav Goldberg (Bar Ilan University and Allen Institute for Artificial Intelligence)
• Abstract要約: 自然言語で表現された一連の事実を、より長い物語に展開し、制御された生成タスクを提案する。 我々は、GPT2のような自動回帰型一方向言語モデルは、より良い流動性を生み出すが、彼らは要求された事実に従うのに苦労することを示した。 本稿では,要求されるコンテンツに固執しながら,競争的フラッテンシーを生み出すプラン・アンド・クローズモデル(微調整xlnet)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in self-attention neural network architectures have raised the bar for open-ended text generation. Yet, while current methods are capable of producing a coherent text which is several hundred words long, attaining control over the content that is being generated -- as well as evaluating it -- are still open questions. We propose a controlled generation task which is based on expanding a sequence of facts, expressed in natural language, into a longer narrative. We introduce human-based evaluation metrics for this task, as well as a method for deriving a large training dataset. We evaluate three methods on this task, based on fine-tuning pre-trained models. We show that while auto-regressive, unidirectional Language Models such as GPT2 produce better fluency, they struggle to adhere to the requested facts. We propose a plan-and-cloze model (using fine-tuned XLNet) which produces competitive fluency while adhering to the requested content.
• Abstract（参考訳）: 自己接続型ニューラルネットワークアーキテクチャの最近の進歩は、オープンエンドテキスト生成のバーを高めた。 しかし、現在の方法では、数百語の長さの一貫性のあるテキストを生成することができるが、生成しているコンテンツ -- とそれを評価する -- を制御できることは、まだ疑問の余地がある。 本稿では,自然言語で表現された事象列を,より長い物語へと拡張する制御された生成タスクを提案する。 本稿では,この課題に対する人間による評価指標と,大規模なトレーニングデータセットの導出方法を紹介する。 本研究は,微調整事前学習モデルに基づく3つの手法を評価する。 GPT2のような自動回帰的一方向言語モデルでは、より流速が良くなるが、要求された事実に従うのに苦労している。 本稿では,要求されるコンテンツに固執しながら,競争的フラッテンシーを生み出すプラン・アンド・クローズモデル(微調整xlnet)を提案する。

関連論文リスト

• MOCHA: A Multi-Task Training Approach for Coherent Text Generation from Cognitive Perspective [22.69509556890676]
  本稿では,文章の認知理論に基づくコヒーレントテキスト生成のための新しいマルチタスク学習戦略を提案する。 我々は,物語生成,ニュース記事作成,議論生成という3つのオープンエンド世代タスクに対して,我々のモデルを広範囲に評価する。
  論文  参考訳（メタデータ） (2022-10-26T11:55:41Z)
• Leveraging Natural Supervision for Language Representation Learning and Generation [8.083109555490475]
  自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T17:26:03Z)
• Collocation2Text: Controllable Text Generation from Guide Phrases in Russian [0.0]
  Collocation2Textはロシア語で自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である。 この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。 提案手法を用いてニュース記事を生成する実験は,自動生成された流布文に対して有効性を示した。
  論文  参考訳（メタデータ） (2022-06-18T17:10:08Z)
• Event Transition Planning for Open-ended Text Generation [55.729259805477376]
  オープンエンドテキスト生成タスクは、事前コンテキストに制限されたコヒーレントな継続を生成するためにモデルを必要とする。 オープンエンドテキスト生成におけるイベントを明示的にアレンジする新しい2段階手法を提案する。 我々のアプローチは、特別に訓練された粗大なアルゴリズムとして理解することができる。
  論文  参考訳（メタデータ） (2022-04-20T13:37:51Z)
• Data-to-text Generation with Variational Sequential Planning [74.3955521225497]
  非言語的な入力からテキスト出力を生成することを目的としたデータ・ツー・テキスト生成の課題について考察する。 協調的かつ有意義な方法で高レベルの情報を整理する責任を負う計画要素を付加したニューラルモデルを提案する。 我々は、計画と生成のステップをインターリーブしながら、構造化された変動モデルで逐次、潜在計画を推測する。
  論文  参考訳（メタデータ） (2022-02-28T13:17:59Z)
• Data-to-text Generation with Macro Planning [61.265321323312286]
  本稿では,マクロ計画段階のニューラルモデルと,従来の手法を連想させる生成段階を提案する。 提案手法は, 自動評価と人的評価の両面で, 競争ベースラインを上回っている。
  論文  参考訳（メタデータ） (2021-02-04T16:32:57Z)
• Outline to Story: Fine-grained Controllable Story Generation from Cascaded Events [39.577220559911055]
  長文のきめ細かい制御が可能な生成のためのテストベッドとして,"Outline to Story" (O2S) という新しいタスクを提案する。 次に、最新のキーワード抽出技術で構築された将来のベンチマーク用のデータセットを作成します。
  論文  参考訳（メタデータ） (2021-01-04T08:16:21Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• QURIOUS: Question Generation Pretraining for Text Generation [13.595014409069584]
  本稿では,テキスト生成目標に適合する事前学習手法として質問生成を提案する。 本手法で事前訓練したテキスト生成モデルは,入力の本質を理解するのが得意であり,目的タスクに適した言語モデルである。
  論文  参考訳（メタデータ） (2020-04-23T08:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。