論文の概要: A Generative Model for Joint Natural Language Understanding and Generation

• arxiv url: http://arxiv.org/abs/2006.07499v1
• Date: Fri, 12 Jun 2020 22:38:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 02:23:28.890877
• Title: A Generative Model for Joint Natural Language Understanding and Generation
• Title（参考訳）: 共同自然言語理解・生成のための生成モデル
• Authors: Bo-Hsiang Tseng, Jianpeng Cheng, Yimai Fang, David Vandyke
• Abstract要約: 本研究では,NLUとNLGを結合した生成モデルを提案する。 本モデルでは,2つの対話データセットに対して,フラットおよびツリー構造の両方の形式表現を用いて,最先端のパフォーマンスを実現する。 また,モデルの性能向上のために,ラベルのないデータを活用することで,半教師付きでモデルを訓練できることも示す。
• 参考スコア（独自算出の注目度）: 9.810053382574017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language understanding (NLU) and natural language generation (NLG) are two fundamental and related tasks in building task-oriented dialogue systems with opposite objectives: NLU tackles the transformation from natural language to formal representations, whereas NLG does the reverse. A key to success in either task is parallel training data which is expensive to obtain at a large scale. In this work, we propose a generative model which couples NLU and NLG through a shared latent variable. This approach allows us to explore both spaces of natural language and formal representations, and facilitates information sharing through the latent space to eventually benefit NLU and NLG. Our model achieves state-of-the-art performance on two dialogue datasets with both flat and tree-structured formal representations. We also show that the model can be trained in a semi-supervised fashion by utilising unlabelled data to boost its performance.
• Abstract（参考訳）: 自然言語理解 (nlu) と自然言語生成 (nlg) は、タスク指向の対話システムを構築する上での2つの基本および関連するタスクである: nluは、自然言語から形式表現への変換に取り組むが、nlgは逆を行う。 どちらのタスクでも成功するための鍵は、大規模に取得するのに費用がかかる並列トレーニングデータである。 本研究では,nluとnlgを共有潜在変数で結合する生成モデルを提案する。 このアプローチにより、自然言語と形式表現の両方の空間を探索し、潜伏空間を通じて情報共有を促進し、最終的にはNLUとNLGの恩恵を受けることができる。 本モデルは,フラット表現とツリー構造表現の2つの対話データセットにおいて,最先端のパフォーマンスを実現する。 また,モデルの性能向上のために,ラベルのないデータを活用することで,半教師付きでモデルを訓練できることも示す。

関連論文リスト

• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Dual Inference for Improving Language Understanding and Generation [35.251935231914366]
  自然言語理解(NLU)と自然言語生成(NLG)のタスクは、強い二重関係を持つ。 NLUは自然言語の発話に基づいて意味ラベルを予測することを目的としており、NLGはその逆を行う。 本稿では,再学習を必要とせず,推論段階における双対性を活用することを提案する。
  論文  参考訳（メタデータ） (2020-10-08T20:14:41Z)
• Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems [74.8759568242933]
  タスク指向対話システムは、自然言語理解(NLU)、対話状態追跡(DST)、対話ポリシー(DP)、自然言語生成(NLG)の4つの連結モジュールを使用する。 研究課題は、データ収集に関連する高コストから最小限のサンプルで各モジュールを学習することである。 我々は,NLU,DP,NLGタスクにおいて,言語モデルの素小ショット能力を評価する。
  論文  参考訳（メタデータ） (2020-08-14T08:23:21Z)
• Schema-Guided Natural Language Generation [13.11874946084068]
  誘導自然言語生成(SG-NLG)の課題について紹介する。 SG-NLGでは、まだ自然言語プロンプトを生成することが目標であるが、SG-NLGでは、入力MRとコンテキスト情報を提供するリッチスキーマがペアリングされる。 このデータセットに基づいて、ニューラルネットワーク生成のためのさまざまな最先端モデルをトレーニングし、リッチスキーマ情報を含む多くのケースにおいて、私たちのモデルがより高い品質の出力を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-05-11T23:01:22Z)
• Towards Unsupervised Language Understanding and Generation by Joint Dual Learning [40.730699588561805]
  モジュール型対話システムでは、自然言語理解(NLU)と自然言語生成(NLG)が重要な要素である。 本稿では,このような双対性を効果的に活用するための一般学習フレームワークを提案する。 提案手法はNLUとNLGの両方の性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-30T12:02:33Z)
• Boosting Naturalness of Language in Task-oriented Dialogues via Adversarial Training [29.468502787886813]
  我々は、より人間的な反応を生み出すために、敵の訓練を統合することを提案する。 RNN-LGレストランデータセットでは、我々のモデルAdvNLGは、BLEUの3.6%で過去の最先端結果を上回っている。
  論文  参考訳（メタデータ） (2020-04-30T03:35:20Z)
• Dual Learning for Semi-Supervised Natural Language Understanding [29.692288627633374]
  自然言語理解(NLU)は、文を構造化意味形式に変換する。 NLU, semantic-to-sentence generation (SSG) の2つのタスクを導入する。 本稿では,対応する2つのモデルを用いた半教師付きNLUのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T07:17:48Z)
• Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
  本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。 提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。 新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
  論文  参考訳（メタデータ） (2020-04-22T06:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。