論文の概要: Topic-to-essay generation with knowledge-based content selection

• arxiv url: http://arxiv.org/abs/2402.16248v1
• Date: Mon, 26 Feb 2024 02:14:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 14:41:38.581901
• Title: Topic-to-essay generation with knowledge-based content selection
• Title（参考訳）: 知識に基づくコンテンツ選択によるトピック・ツー・エッセイ生成
• Authors: Jieyong Wang, Chunyao Song, Yihao Wu
• Abstract要約: 本稿では,言語モデルからの豊富な意味的知識をデコーダに統合する,コンテンツ選択モジュールを備えた新しいコピー機構モデルを提案する。 実験結果から,提案手法により得られたテキストの多様性を35%から59%向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 1.0625748132006634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The topic-to-essay generation task is a challenging natural language generation task that aims to generate paragraph-level text with high semantic coherence based on a given set of topic words. Previous work has focused on the introduction of external knowledge, ignoring the insufficient generated text diversity. In order to improve the generation diversity, we propose a novel copy mechanism model with a content selection module that integrates rich semantic knowledge from the language model into the decoder. Furthermore, we introduce the improved prefix tuning method to train the model, enabling it to adapt to varying input complexities. In addition, we have contributed a new Chinese dataset for TEG tasks. Experimental results demonstrate that the proposed model can improve the generated text diversity by 35\% to 59\% compared to the state-of-the-art method, while maintaining a high level of topic consistency.
• Abstract（参考訳）: topic-to-essay生成タスクは、与えられたトピックワードのセットに基づいて、高い意味的一貫性を持つ段落レベルのテキストを生成することを目的とした、挑戦的な自然言語生成タスクである。 以前の研究は外部知識の導入に重点を置いており、不十分なテキストの多様性を無視している。 生成の多様性を改善するために,言語モデルからの豊富な意味知識をデコーダに統合したコンテンツ選択モジュールを用いた新しいコピー機構モデルを提案する。 さらに,モデルの学習に改良されたプレフィックスチューニング手法を導入することで,入力の複雑さに適応できる。 さらに,TEGタスクのための中国語データセットを新たに提供しました。 実験結果から,提案手法は高レベルのトピック一貫性を維持しつつ,テキストの多様性を35 %から59 %向上させることができることがわかった。

関連論文リスト

• Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
  コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。 この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
  論文  参考訳（メタデータ） (2024-07-26T12:23:54Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Automatic and Human-AI Interactive Text Generation [27.05024520190722]
  本チュートリアルは、最先端の自然言語生成研究の概要を提供する。 テキストからテキストへの生成タスクは、セマンティック一貫性とターゲット言語スタイルの観点からより制約される。
  論文  参考訳（メタデータ） (2023-10-05T20:26:15Z)
• StoryTrans: Non-Parallel Story Author-Style Transfer with Discourse Representations and Content Enhancing [73.81778485157234]
  長文は通常、文よりも談話構造のような複雑な著者の言語的嗜好を含んでいる。 我々は、入力されたストーリーを特定の著者スタイルに転送する必要があるノン並列ストーリー作者スタイル転送のタスクを定式化する。 モデルが自動エンコーダに退化することを防ぐために,学習した談話表現からスタイル的特徴を引き離すための追加の学習目標を用いる。
  論文  参考訳（メタデータ） (2022-08-29T08:47:49Z)
• PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation [47.97523895218194]
  本稿では,自己回帰型自己認識機構を利用してコンテンツ計画と表面実現を動的に行う新しい生成フレームワークを提案する。 本フレームワークは,単語のバッグをベースとした文レベルのセマンティックプランを維持するために,トランスフォーマーデコーダを潜在表現で強化する。
  論文  参考訳（メタデータ） (2022-03-17T05:52:35Z)
• Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey [54.34370423151014]
  本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。 本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
  論文  参考訳（メタデータ） (2020-10-14T17:54:42Z)
• GenAug: Data Augmentation for Finetuning Text Generators [21.96895115572357]
  本稿では,Yelp Reviews のサブセット上で GPT-2 を微調整するための外部知識を含む様々な拡張手法を提案し,評価する。 実験により,文字レベルの合成ノイズの挿入とハイパーネムのキーワード置換が効果的な拡張法であることを実証した。
  論文  参考訳（メタデータ） (2020-10-05T05:46:39Z)
• Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
  テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。 本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-04T05:45:13Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。