論文の概要: Dual Learning for Semi-Supervised Natural Language Understanding
- arxiv url: http://arxiv.org/abs/2004.12299v4
- Date: Thu, 1 Apr 2021 09:53:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 13:01:10.694845
- Title: Dual Learning for Semi-Supervised Natural Language Understanding
- Title（参考訳）: 半教師付き自然言語理解のためのデュアルラーニング
- Authors: Su Zhu, Ruisheng Cao, and Kai Yu
- Abstract要約: 自然言語理解(NLU)は、文を構造化意味形式に変換する。
NLU, semantic-to-sentence generation (SSG) の2つのタスクを導入する。
本稿では,対応する2つのモデルを用いた半教師付きNLUのための新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 29.692288627633374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language understanding (NLU) converts sentences into structured
semantic forms. The paucity of annotated training samples is still a
fundamental challenge of NLU. To solve this data sparsity problem, previous
work based on semi-supervised learning mainly focuses on exploiting unlabeled
sentences. In this work, we introduce a dual task of NLU, semantic-to-sentence
generation (SSG), and propose a new framework for semi-supervised NLU with the
corresponding dual model. The framework is composed of dual pseudo-labeling and
dual learning method, which enables an NLU model to make full use of data
(labeled and unlabeled) through a closed-loop of the primal and dual tasks. By
incorporating the dual task, the framework can exploit pure semantic forms as
well as unlabeled sentences, and further improve the NLU and SSG models
iteratively in the closed-loop. The proposed approaches are evaluated on two
public datasets (ATIS and SNIPS). Experiments in the semi-supervised setting
show that our methods can outperform various baselines significantly, and
extensive ablation studies are conducted to verify the effectiveness of our
framework. Finally, our method can also achieve the state-of-the-art
performance on the two datasets in the supervised setting. Our code is
available at \url{https://github.com/rhythmcao/slu-dual-learning.git}.
- Abstract（参考訳）: 自然言語理解(NLU)は文を構造化意味形式に変換する。
注釈付きトレーニングサンプルのpaucityは、nluの基本的な課題である。
このデータ疎度問題を解決するために、半教師付き学習に基づく以前の研究は主にラベルなし文の活用に焦点を当てた。
本研究では,NLUの2つのタスクである意味文生成(SSG)を導入し,対応する2つのモデルを用いた半教師付きNLUのための新しいフレームワークを提案する。
このフレームワークは2つの擬似ラベルと2つの学習法で構成されており、NLUモデルは原始タスクと双対タスクのクローズドループを通じてデータ(ラベル付きおよびラベルなし)をフル活用することができる。
この2つのタスクを組み込むことで、純粋な意味形式やラベルのない文を活用でき、NLUとSSGモデルをクローズドループで反復的に改善することができる。
提案手法は2つのパブリックデータセット(ATISとSNIPS)で評価される。
半教師付きセッティング実験により,本手法は様々なベースラインを著しく上回り,フレームワークの有効性を検証するために広範囲にわたるアブレーション研究を行った。
最後に,本手法は教師付き設定における2つのデータセットの最先端性能を実現する。
私たちのコードは \url{https://github.com/rhythmcao/slu-dual-learning.git} で利用可能です。
関連論文リスト
- Semi-Supervised One-Shot Imitation Learning [83.94646047695412]
ワンショットのImitation Learningは、AIエージェントに1つのデモから新しいタスクを学ぶ能力を持たせることを目的としている。
我々は,学習エージェントにトラジェクトリの大規模なデータセットを提示する,半教師付きOSIL問題設定を導入する。
我々は,この半教師付きOSIL設定に適用可能なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-08-09T18:11:26Z) - Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning [50.1035273069458]
音声言語理解(SLU)はタスク指向対話システムにおける中核的なタスクである。
本稿では,発話レベル,スロットレベル,単語レベルを含む3段階のコントラスト学習を実現するためのマルチレベルMMCLフレームワークを提案する。
本フレームワークは,2つの公開マルチインテリジェントSLUデータセットに対して,最先端の新たな結果を実現する。
論文 参考訳（メタデータ） (2024-05-31T14:34:23Z) - A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
自然言語推論は自然言語理解のプロキシである。
ルーマニア語のNLIコーパスは公開されていない。
58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
論文 参考訳（メタデータ） (2024-05-20T08:41:15Z) - Adaptive Integration of Partial Label Learning and Negative Learning for
Enhanced Noisy Label Learning [23.847160480176697]
我々はtextbfNPN というシンプルながら強力なアイデアを提案し,このアイデアは textbfNoisy ラベル学習に革命をもたらす。
我々はNLの全ての非候補ラベルを用いて信頼性の高い補完ラベルを生成し、間接的な監督を通じてモデルロバスト性を高める。
合成劣化データセットと実世界の雑音データセットの両方で実施された実験は、他のSOTA法と比較してNPNの優位性を示している。
論文 参考訳（メタデータ） (2023-12-15T03:06:19Z) - Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。
第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。
マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-22T08:06:22Z) - Slot Induction via Pre-trained Language Model Probing and Multi-level
Contrastive Learning [62.839109775887025]
トークンレベルのスロットアノテーションの明示的な知識なしでスロット境界を誘導することを目的としたスロットインジェクション(SI)タスク。
PLMから抽出した教師なし意味知識を活用するために、教師なし事前学習言語モデル(PLM)探索とコントラスト学習機構を活用することを提案する。
提案手法は,2つのNLUベンチマークデータセット上でトークンレベルの教師付きモデルとのギャップを埋めることができ,SIタスクに有効であることが示されている。
論文 参考訳（メタデータ） (2023-08-09T05:08:57Z) - HIT-SCIR at MMNLU-22: Consistency Regularization for Multilingual Spoken
Language Understanding [56.756090143062536]
本稿では,ハイブリッドデータ拡張戦略に基づく一貫性の正則化を提案する。
フルデータセットとゼロショット設定の両方で、MASSIVEデータセット上で実験を行う。
提案手法はインテント検出とスロット充足の両方の性能を向上させる。
論文 参考訳（メタデータ） (2023-01-05T11:21:15Z) - Dual Inference for Improving Language Understanding and Generation [35.251935231914366]
自然言語理解(NLU)と自然言語生成(NLG)のタスクは、強い二重関係を持つ。
NLUは自然言語の発話に基づいて意味ラベルを予測することを目的としており、NLGはその逆を行う。
本稿では,再学習を必要とせず,推論段階における双対性を活用することを提案する。
論文 参考訳（メタデータ） (2020-10-08T20:14:41Z) - A Generative Model for Joint Natural Language Understanding and
Generation [9.810053382574017]
本研究では,NLUとNLGを結合した生成モデルを提案する。
本モデルでは,2つの対話データセットに対して,フラットおよびツリー構造の両方の形式表現を用いて,最先端のパフォーマンスを実現する。
また,モデルの性能向上のために,ラベルのないデータを活用することで,半教師付きでモデルを訓練できることも示す。
論文 参考訳（メタデータ） (2020-06-12T22:38:55Z) - Towards Unsupervised Language Understanding and Generation by Joint Dual
Learning [40.730699588561805]
モジュール型対話システムでは、自然言語理解(NLU)と自然言語生成(NLG)が重要な要素である。
本稿では,このような双対性を効果的に活用するための一般学習フレームワークを提案する。
提案手法はNLUとNLGの両方の性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-30T12:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。