論文の概要: Towards Unsupervised Language Understanding and Generation by Joint Dual
Learning
- arxiv url: http://arxiv.org/abs/2004.14710v1
- Date: Thu, 30 Apr 2020 12:02:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 04:15:11.957490
- Title: Towards Unsupervised Language Understanding and Generation by Joint Dual
Learning
- Title(参考訳): 共同学習による教師なし言語理解・生成に向けて
- Authors: Shang-Yu Su, Chao-Wei Huang, Yun-Nung Chen
- Abstract要約: モジュール型対話システムでは、自然言語理解(NLU)と自然言語生成(NLG)が重要な要素である。
本稿では,このような双対性を効果的に活用するための一般学習フレームワークを提案する。
提案手法はNLUとNLGの両方の性能を向上させることができる。
- 参考スコア(独自算出の注目度): 40.730699588561805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In modular dialogue systems, natural language understanding (NLU) and natural
language generation (NLG) are two critical components, where NLU extracts the
semantics from the given texts and NLG is to construct corresponding natural
language sentences based on the input semantic representations. However, the
dual property between understanding and generation has been rarely explored.
The prior work is the first attempt that utilized the duality between NLU and
NLG to improve the performance via a dual supervised learning framework.
However, the prior work still learned both components in a supervised manner,
instead, this paper introduces a general learning framework to effectively
exploit such duality, providing flexibility of incorporating both supervised
and unsupervised learning algorithms to train language understanding and
generation models in a joint fashion. The benchmark experiments demonstrate
that the proposed approach is capable of boosting the performance of both NLU
and NLG.
- Abstract(参考訳): モジュール型対話システムでは、自然言語理解(NLU)と自然言語生成(NLG)が2つの重要な要素であり、NLUは与えられたテキストから意味を抽出し、NLGは入力された意味表現に基づいて対応する自然言語文を構築する。
しかし、理解と生成の二重性はほとんど研究されていない。
先行研究は、NLUとNLGの双対性を利用して、二重教師付き学習フレームワークによる性能向上を図った最初の試みである。
しかし,本稿では,教師付き学習アルゴリズムと教師なし学習アルゴリズムを併用して,言語理解と生成モデルを協調的に学習する,汎用的な学習フレームワークを提案する。
ベンチマーク実験により,提案手法はNLUとNLGの両方の性能を向上させることができることが示された。
関連論文リスト
- ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:23:47Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - Towards More Robust Natural Language Understanding [0.0]
自然言語理解(NLU)は自然言語処理(NLP)の分野である
近年、深層学習技術を用いた様々なNLUタスクが目覚ましい進歩を遂げている。
自然言語を理解する人間の能力は柔軟で堅牢です。
論文 参考訳(メタデータ) (2021-12-01T17:27:19Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳(メタデータ) (2020-12-30T03:35:22Z) - SLM: Learning a Discourse Language Representation with Sentence
Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。
本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文 参考訳(メタデータ) (2020-10-30T13:33:41Z) - Dual Inference for Improving Language Understanding and Generation [35.251935231914366]
自然言語理解(NLU)と自然言語生成(NLG)のタスクは、強い二重関係を持つ。
NLUは自然言語の発話に基づいて意味ラベルを予測することを目的としており、NLGはその逆を行う。
本稿では,再学習を必要とせず,推論段階における双対性を活用することを提案する。
論文 参考訳(メタデータ) (2020-10-08T20:14:41Z) - A Generative Model for Joint Natural Language Understanding and
Generation [9.810053382574017]
本研究では,NLUとNLGを結合した生成モデルを提案する。
本モデルでは,2つの対話データセットに対して,フラットおよびツリー構造の両方の形式表現を用いて,最先端のパフォーマンスを実現する。
また,モデルの性能向上のために,ラベルのないデータを活用することで,半教師付きでモデルを訓練できることも示す。
論文 参考訳(メタデータ) (2020-06-12T22:38:55Z) - Dual Learning for Semi-Supervised Natural Language Understanding [29.692288627633374]
自然言語理解(NLU)は、文を構造化意味形式に変換する。
NLU, semantic-to-sentence generation (SSG) の2つのタスクを導入する。
本稿では,対応する2つのモデルを用いた半教師付きNLUのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-04-26T07:17:48Z) - Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。
提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。
新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
論文 参考訳(メタデータ) (2020-04-22T06:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。