論文の概要: Sentence Semantic Regression for Text Generation

• arxiv url: http://arxiv.org/abs/2108.02984v1
• Date: Fri, 6 Aug 2021 07:35:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-09 14:37:30.619477
• Title: Sentence Semantic Regression for Text Generation
• Title（参考訳）: テキスト生成のための文セマンティック回帰
• Authors: Wei Wang, Piji Li, Hai-Tao Zheng
• Abstract要約: 本稿では文レベル言語モデリングに基づくセンテンス・セマンティック・レグレッション(textbfSSR)という新しいフレームワークを提案する。 アイデア推論では、textbfSSR-AR と textbfSSR-NonAR の2つのアーキテクチャが、文の意味的回帰を自動回帰的に実行するように設計されている。 表面実現の段階において、混合粒度文デコーダは、一貫性のあるテキストを生成するように設計されている。
• 参考スコア（独自算出の注目度）: 25.16392119801612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recall the classical text generation works, the generation framework can be briefly divided into two phases: \textbf{idea reasoning} and \textbf{surface realization}. The target of idea reasoning is to figure out the main idea which will be presented in the following talking/writing periods. Surface realization aims to arrange the most appropriate sentence to depict and convey the information distilled from the main idea. However, the current popular token-by-token text generation methods ignore this crucial process and suffer from many serious issues, such as idea/topic drift. To tackle the problems and realize this two-phase paradigm, we propose a new framework named Sentence Semantic Regression (\textbf{SSR}) based on sentence-level language modeling. For idea reasoning, two architectures \textbf{SSR-AR} and \textbf{SSR-NonAR} are designed to conduct sentence semantic regression autoregressively (like GPT2/3) and bidirectionally (like BERT). In the phase of surface realization, a mixed-granularity sentence decoder is designed to generate text with better consistency by jointly incorporating the predicted sentence-level main idea as well as the preceding contextual token-level information. We conduct experiments on four tasks of story ending prediction, story ending generation, dialogue generation, and sentence infilling. The results show that SSR can obtain better performance in terms of automatic metrics and human evaluation.
• Abstract（参考訳）: 古典的なテキスト生成作業を思い出すと、生成フレームワークは二段階に分けることができる: \textbf{idea reasoning} と \textbf{surface realization} である。 アイデア推論の目標は、次の会話/書き込み期間で提示される主要なアイデアを理解することである。 表面実現は、主観から抽出した情報を描写し伝達するために最も適切な文を配置することを目的としている。 しかし、現在の一般的なトークン単位のテキスト生成手法はこの決定的なプロセスを無視し、アイデア/トピックドリフトのような深刻な問題に悩まされている。 この問題に取り組み,この二相パラダイムを実現するために,文レベルの言語モデルに基づく文意味回帰(\textbf{ssr})という新しい枠組みを提案する。 アイデア推論では、2つのアーキテクチャ \textbf{SSR-AR} と \textbf{SSR-NonAR} は文の意味論的回帰(GPT2/3)と双方向(BERT)を自動回帰的に実行するように設計されている。 表層実現の段階では、予測文レベルの主アイデアと先行する文脈トークンレベルの情報とを併用することにより、より一貫性のあるテキストを生成するように、混合粒度文デコーダが設計されている。 物語終末予測,物語終末生成,対話生成,文入力の4つのタスクについて実験を行った。 その結果,ssrは自動計測と人的評価の面で優れた性能を得ることができた。

関連論文リスト

• Story Visualization by Online Text Augmentation with Context Memory [64.86944645907771]
  オンラインテキスト拡張による双方向トランスフォーマーフレームワークのための新しいメモリアーキテクチャを提案する。 提案手法は, FID, キャラクタF1, フレーム精度, BLEU-2/3, R精度など, 様々な指標において, 芸術の状態を著しく上回っている。
  論文  参考訳（メタデータ） (2023-08-15T05:08:12Z)
• Don't Take This Out of Context! On the Need for Contextual Models and Evaluations for Stylistic Rewriting [29.983234538677543]
  本稿では,文脈結合性と原文との類似性を組み合わせた新しい複合文脈評価指標であるtextttCtxSimFit$を紹介する。 実験の結果,人間は文脈的書き直しを,非文脈的書き直しよりも適切で自然なものにすることが示唆された。
  論文  参考訳（メタデータ） (2023-05-24T05:58:17Z)
• Event Transition Planning for Open-ended Text Generation [55.729259805477376]
  オープンエンドテキスト生成タスクは、事前コンテキストに制限されたコヒーレントな継続を生成するためにモデルを必要とする。 オープンエンドテキスト生成におけるイベントを明示的にアレンジする新しい2段階手法を提案する。 我々のアプローチは、特別に訓練された粗大なアルゴリズムとして理解することができる。
  論文  参考訳（メタデータ） (2022-04-20T13:37:51Z)
• AGGGEN: Ordering and Aggregating while Generating [12.845842212733695]
  本稿では,2つの明示的な文計画段階をニューラルデータ・トゥ・テキストシステムに再導入するデータ・ツー・テキスト・モデルAGGGENを提案する。 AGGGENは、入力表現とターゲットテキスト間の遅延アライメントを学習してテキストを生成すると同時に、文計画を実行する。
  論文  参考訳（メタデータ） (2021-06-10T08:14:59Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
  本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。 我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。 我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
  論文  参考訳（メタデータ） (2020-08-21T20:59:34Z)
• Efficient text generation of user-defined topic using generative adversarial networks [0.32228025627337864]
  本稿では,この問題を解決するために,2レベル判別器を用いたユーザ定義型GAN(UD-GAN)を提案する。 提案手法は,他の方法よりも少ない時間でテキストを生成することができる。
  論文  参考訳（メタデータ） (2020-06-22T04:49:47Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。