論文の概要: Unsupervised Neural Stylistic Text Generation using Transfer learning and Adapters

• arxiv url: http://arxiv.org/abs/2210.03264v1
• Date: Fri, 7 Oct 2022 00:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 13:52:07.728207
• Title: Unsupervised Neural Stylistic Text Generation using Transfer learning and Adapters
• Title（参考訳）: 伝達学習と適応器を用いた教師なしニューラルスティリスティックテキスト生成
• Authors: Vinayshekhar Bannihatti Kumar, Rashmi Gangadharaiah, Dan Roth
• Abstract要約: 応答生成のためのスタイル特化属性を学習するために,モデルパラメータの0.3%しか更新しない新しい転送学習フレームワークを提案する。 我々はPERSONALITY-CAPTIONSデータセットからスタイル固有の属性を学習する。
• 参考スコア（独自算出の注目度）: 66.17039929803933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research has shown that personality is a key driver to improve engagement and user experience in conversational systems. Conversational agents should also maintain a consistent persona to have an engaging conversation with a user. However, text generation datasets are often crowd sourced and thereby have an averaging effect where the style of the generation model is an average style of all the crowd workers that have contributed to the dataset. While one can collect persona-specific datasets for each task, it would be an expensive and time consuming annotation effort. In this work, we propose a novel transfer learning framework which updates only $0.3\%$ of model parameters to learn style specific attributes for response generation. For the purpose of this study, we tackle the problem of stylistic story ending generation using the ROC stories Corpus. We learn style specific attributes from the PERSONALITY-CAPTIONS dataset. Through extensive experiments and evaluation metrics we show that our novel training procedure can improve the style generation by 200 over Encoder-Decoder baselines while maintaining on-par content relevance metrics with
• Abstract（参考訳）: パーソナリティは会話システムにおけるエンゲージメントとユーザエクスペリエンスを改善する上で重要な要因である。 会話エージェントは、ユーザと対話するために一貫したペルソナを保持する必要がある。 しかし、テキスト生成データセットはしばしばクラウドソースされるため、生成モデルのスタイルがデータセットに貢献したすべてのクラウドワーカーの平均的なスタイルである平均的な効果がある。 タスクごとにペルソナ固有のデータセットを収集することは可能ですが、高価で時間を要するアノテーションの取り組みになります。 本研究では,応答生成のためのスタイル特化属性を学習するために,モデルパラメータの0.3 %しか更新しない新しい伝達学習フレームワークを提案する。 本研究の目的は,ROCストーリーコーパスを用いたスタイリスティックなストーリーエンディング生成の問題に取り組むことである。 我々はPERSONALITY-CAPTIONSデータセットからスタイル固有の属性を学習する。 広範にわたる実験と評価指標により,Encoder-Decoderベースラインよりも200以上のスタイル生成を向上できると同時に,オンパーコンテンツ関連指標も維持できることを示す。

関連論文リスト

• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Specializing Small Language Models towards Complex Style Transfer via Latent Attribute Pre-Training [29.143887057933327]
  複雑なテキストスタイルの転送タスクの概念を導入し、2つの広く適用可能なシナリオに基づいて複雑なテキストデータセットを構築した。 我々のデータセットは、ゲームGenshin Impactの700文と1000文からなる、この種の最初の大規模データセットである。
  論文  参考訳（メタデータ） (2023-09-19T21:01:40Z)
• An Overview on Controllable Text Generation via Variational Auto-Encoders [15.97186478109836]
  ニューラルベース生成モデリングの最近の進歩は、コンピュータシステムが人間と会話できるという期待を再燃させた。 変分自動エンコーダ(VAE)のような潜在変数モデル(LVM)は、テキストデータの分布パターンを特徴付けるように設計されている。 この概要は、既存の生成方式、テキスト変分自動エンコーダに関連する問題、および制御可能な生成に関するいくつかのアプリケーションについて概説する。
  論文  参考訳（メタデータ） (2022-11-15T07:36:11Z)
• Leveraging Natural Supervision for Language Representation Learning and Generation [8.083109555490475]
  自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T17:26:03Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)
• Deep Learning for Text Style Transfer: A Survey [71.8870854396927]
  テキストスタイル転送は、生成したテキストの特定の属性を制御することを目的として、自然言語生成において重要なタスクである。 2017年の最初のニューラルテキストスタイル転送作業以降,100以上の代表的な記事を対象とした,ニューラルテキストスタイル転送の研究の体系的な調査を行う。 タスクの定式化、既存のデータセットとサブタスク、評価、並列データと非並列データの存在下での豊富な方法論について論じる。
  論文  参考訳（メタデータ） (2020-11-01T04:04:43Z)
• STORIUM: A Dataset and Evaluation Platform for Machine-in-the-Loop Story Generation [48.56586847883825]
  我々は、オンラインのコラボレーティブなストーリーテリングコミュニティであるSTORiumから構築されたデータセットと評価プラットフォームを紹介した。 データセットには6Kの長編記事と、各物語に散在する詳細な自然言語アノテーションが含まれています。 我々は、STORiumにそれらを統合することで、データセット上で微調整された言語モデルを評価し、実際の著者は提案されたストーリーの継続をモデルに問い合わせ、編集することができる。
  論文  参考訳（メタデータ） (2020-10-04T23:26:09Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。