論文の概要: Boosting Naturalness of Language in Task-oriented Dialogues via Adversarial Training

• arxiv url: http://arxiv.org/abs/2004.14565v2
• Date: Wed, 6 May 2020 04:44:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:07:21.036746
• Title: Boosting Naturalness of Language in Task-oriented Dialogues via Adversarial Training
• Title（参考訳）: 対人訓練によるタスク指向対話における言語の自然性向上
• Authors: Chenguang Zhu
• Abstract要約: 我々は、より人間的な反応を生み出すために、敵の訓練を統合することを提案する。 RNN-LGレストランデータセットでは、我々のモデルAdvNLGは、BLEUの3.6%で過去の最先端結果を上回っている。
• 参考スコア（独自算出の注目度）: 29.468502787886813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The natural language generation (NLG) module in a task-oriented dialogue system produces user-facing utterances conveying required information. Thus, it is critical for the generated response to be natural and fluent. We propose to integrate adversarial training to produce more human-like responses. The model uses Straight-Through Gumbel-Softmax estimator for gradient computation. We also propose a two-stage training scheme to boost performance. Empirical results show that the adversarial training can effectively improve the quality of language generation in both automatic and human evaluations. For example, in the RNN-LG Restaurant dataset, our model AdvNLG outperforms the previous state-of-the-art result by 3.6% in BLEU.
• Abstract（参考訳）: タスク指向対話システムにおける自然言語生成(NLG)モジュールは、必要な情報を伝えるユーザ向け発話を生成する。 したがって、生成した応答は自然かつ流動的であることが重要である。 我々は、より人間的な反応を生み出すために、敵の訓練を統合することを提案する。 このモデルはグラデーション計算にストレートスルーグンベル・ソフトマックス推定器を使用する。 また,性能向上のための2段階トレーニング手法を提案する。 実験の結果, 自動評価と人間評価の両方において, 言語生成の質を効果的に改善できることがわかった。 例えば、RNN-LGレストランデータセットでは、我々のモデルであるAdvNLGは、BLEUの3.6%で過去の最先端結果を上回っています。

関連論文リスト

• Is Crowdsourcing Breaking Your Bank? Cost-Effective Fine-Tuning of Pre-trained Language Models with Proximal Policy Optimization [18.75866961339424]
  ChatGPTは、人間のフィードバックによる強化学習の可能性を強調している。 労働コストを削減するために,自己監督型テキストランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-28T12:24:07Z)
• BatGPT: A Bidirectional Autoregessive Talker from Generative Pre-trained Transformer [77.28871523946418]
  BatGPTは武漢大学と上海江東大学が共同で設計・訓練した大規模言語モデルである。 テキストプロンプト、画像、オーディオなど、さまざまなタイプの入力に応答して、非常に自然で、流動的なテキストを生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T15:10:01Z)
• Improving Code Generation by Training with Natural Language Feedback [69.52985513422381]
  自然言語フィードバックから学習するアルゴリズムを訓練時に形式化し、それをILF(Language Feedback)と呼ぶ。 ILFはトレーニング中に少量の人間によるフィードバックしか必要とせず、テスト時に同じフィードバックを必要としないため、ユーザフレンドリでサンプル効率がよい。 Instly Basic Python Problems (MBPP)ベンチマークでは、ICFを使用してCodegen-Mono 6.1Bモデルのpass@1レートを38%改善しています。
  論文  参考訳（メタデータ） (2023-03-28T16:15:31Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
  我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。 本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
  論文  参考訳（メタデータ） (2020-10-17T16:49:43Z)
• Dual Inference for Improving Language Understanding and Generation [35.251935231914366]
  自然言語理解(NLU)と自然言語生成(NLG)のタスクは、強い二重関係を持つ。 NLUは自然言語の発話に基づいて意味ラベルを予測することを目的としており、NLGはその逆を行う。 本稿では,再学習を必要とせず,推論段階における双対性を活用することを提案する。
  論文  参考訳（メタデータ） (2020-10-08T20:14:41Z)
• A Generative Model for Joint Natural Language Understanding and Generation [9.810053382574017]
  本研究では,NLUとNLGを結合した生成モデルを提案する。 本モデルでは,2つの対話データセットに対して,フラットおよびツリー構造の両方の形式表現を用いて,最先端のパフォーマンスを実現する。 また,モデルの性能向上のために,ラベルのないデータを活用することで,半教師付きでモデルを訓練できることも示す。
  論文  参考訳（メタデータ） (2020-06-12T22:38:55Z)
• Modelling Hierarchical Structure between Dialogue Policy and Natural Language Generator with Option Framework for Task-oriented Dialogue System [49.39150449455407]
  HDNOは、特定の対話行為表現の設計を避けるために潜在対話行為を設計するためのオプションフレームワークである。 RL,LaRL,HDSAで学習した単語レベルE2Eモデルと比較して,マルチドメイン対話のデータセットであるMultiWoz 2.0とMultiWoz 2.1でHDNOをテストする。
  論文  参考訳（メタデータ） (2020-06-11T20:55:28Z)
• Learning to Compare for Better Training and Evaluation of Open Domain Natural Language Generation Models [23.62054164511058]
  そこで本研究では,文のペアを細調整して比較することで,自然言語生成モデルを評価することを提案する。 完全に自己管理された方法でトレーニングできる一方で、人間の好みのアノテーションを少しだけ含んだモデルをさらに微調整することが可能です。
  論文  参考訳（メタデータ） (2020-02-12T15:52:21Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。