論文の概要: Towards Efficiently Diversifying Dialogue Generation via Embedding Augmentation

• arxiv url: http://arxiv.org/abs/2103.01534v1
• Date: Tue, 2 Mar 2021 07:28:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-06 02:22:03.008124
• Title: Towards Efficiently Diversifying Dialogue Generation via Embedding Augmentation
• Title（参考訳）: 埋め込み拡張による対話生成の効率化に向けて
• Authors: Yu Cao, Liang Ding, Zhiliang Tian, Meng Fang
• Abstract要約: 本稿では,ソフト埋め込みによるニューラル対話モデルの生成の多様性を促進することを提案する。 新しい埋め込みは、元の埋め込みを置き換えるモデルの入力として機能する。 2つのデータセットの実験結果から,提案手法が生モデルよりも多様な応答を生成できることが示された。
• 参考スコア（独自算出の注目度）: 24.940159321142165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dialogue generation models face the challenge of producing generic and repetitive responses. Unlike previous augmentation methods that mostly focus on token manipulation and ignore the essential variety within a single sample using hard labels, we propose to promote the generation diversity of the neural dialogue models via soft embedding augmentation along with soft labels in this paper. Particularly, we select some key input tokens and fuse their embeddings together with embeddings from their semantic-neighbor tokens. The new embeddings serve as the input of the model to replace the original one. Besides, soft labels are used in loss calculation, resulting in multi-target supervision for a given input. Our experimental results on two datasets illustrate that our proposed method is capable of generating more diverse responses than raw models while remains a similar n-gram accuracy that ensures the quality of generated responses.
• Abstract（参考訳）: 対話生成モデルは、ジェネリックで反復的な応答を生成するという課題に直面している。 本論文では, トークン操作を重視し, ハードラベルを用いた単一試料中の本質的多様性を無視する従来の増強法と異なり, ソフト埋め込み拡張とソフトラベルによる神経対話モデルの生成多様性の促進を提案する。 特に、いくつかのキー入力トークンを選択し、その埋め込みとセマンティックに近いトークンからの埋め込みを融合します。 新しい組込みは、元の組込みを置き換えるモデルの入力として機能する。 さらに、ソフトラベルは損失計算に使用され、与えられた入力に対してマルチターゲットの監督を行う。 2つのデータセットの実験結果から,本手法は生モデルよりも多様な応答を生成できる一方,生成した応答の品質を保証するn-gramの精度が維持できることが示された。

関連論文リスト

• Vector-Quantized Prompt Learning for Paraphrase Generation [18.40940464497253]
  本稿では、事前学習されたモデルにインスタンス依存のプロンプトを組み込むことにより、多種多様な高品質なパラフレーズを生成することを提案する。 大規模な実験により,提案手法は3つのベンチマークデータセットに対して新たな最先端結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-11-25T07:13:06Z)
• Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
  頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。 まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。 SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
  論文  参考訳（メタデータ） (2023-06-01T19:04:17Z)
• Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
  テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。 モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T23:43:23Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Diversifying Dialog Generation via Adaptive Label Smoothing [49.216146120454745]
  本稿では,異なるコンテキストに対して,各タイミングで目標ラベル分布を適応的に推定できる適応ラベル平滑化(AdaLabel)手法を提案する。 提案手法は, 多様な応答を生み出す上で, 様々な競争基準を上回ります。
  論文  参考訳（メタデータ） (2021-05-30T14:41:09Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior [53.69310441063162]
  本稿では,より自然な音響サンプルを生成できる離散潜在空間における逐次前処理を提案する。 本研究では,聴取試験,自動音声認識(ASR)性能の客観的指標,韻律特性の測定によるアプローチの評価を行った。
  論文  参考訳（メタデータ） (2020-02-06T12:35:50Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。