論文の概要: Dual Learning for Semi-Supervised Natural Language Understanding
- arxiv url: http://arxiv.org/abs/2004.12299v4
- Date: Thu, 1 Apr 2021 09:53:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 13:01:10.694845
- Title: Dual Learning for Semi-Supervised Natural Language Understanding
- Title(参考訳): 半教師付き自然言語理解のためのデュアルラーニング
- Authors: Su Zhu, Ruisheng Cao, and Kai Yu
- Abstract要約: 自然言語理解(NLU)は、文を構造化意味形式に変換する。
NLU, semantic-to-sentence generation (SSG) の2つのタスクを導入する。
本稿では,対応する2つのモデルを用いた半教師付きNLUのための新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 29.692288627633374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language understanding (NLU) converts sentences into structured
semantic forms. The paucity of annotated training samples is still a
fundamental challenge of NLU. To solve this data sparsity problem, previous
work based on semi-supervised learning mainly focuses on exploiting unlabeled
sentences. In this work, we introduce a dual task of NLU, semantic-to-sentence
generation (SSG), and propose a new framework for semi-supervised NLU with the
corresponding dual model. The framework is composed of dual pseudo-labeling and
dual learning method, which enables an NLU model to make full use of data
(labeled and unlabeled) through a closed-loop of the primal and dual tasks. By
incorporating the dual task, the framework can exploit pure semantic forms as
well as unlabeled sentences, and further improve the NLU and SSG models
iteratively in the closed-loop. The proposed approaches are evaluated on two
public datasets (ATIS and SNIPS). Experiments in the semi-supervised setting
show that our methods can outperform various baselines significantly, and
extensive ablation studies are conducted to verify the effectiveness of our
framework. Finally, our method can also achieve the state-of-the-art
performance on the two datasets in the supervised setting. Our code is
available at \url{https://github.com/rhythmcao/slu-dual-learning.git}.
- Abstract(参考訳): 自然言語理解(NLU)は文を構造化意味形式に変換する。
注釈付きトレーニングサンプルのpaucityは、nluの基本的な課題である。
このデータ疎度問題を解決するために、半教師付き学習に基づく以前の研究は主にラベルなし文の活用に焦点を当てた。
本研究では,NLUの2つのタスクである意味文生成(SSG)を導入し,対応する2つのモデルを用いた半教師付きNLUのための新しいフレームワークを提案する。
このフレームワークは2つの擬似ラベルと2つの学習法で構成されており、NLUモデルは原始タスクと双対タスクのクローズドループを通じてデータ(ラベル付きおよびラベルなし)をフル活用することができる。
この2つのタスクを組み込むことで、純粋な意味形式やラベルのない文を活用でき、NLUとSSGモデルをクローズドループで反復的に改善することができる。
提案手法は2つのパブリックデータセット(ATISとSNIPS)で評価される。
半教師付きセッティング実験により,本手法は様々なベースラインを著しく上回り,フレームワークの有効性を検証するために広範囲にわたるアブレーション研究を行った。
最後に,本手法は教師付き設定における2つのデータセットの最先端性能を実現する。
私たちのコードは \url{https://github.com/rhythmcao/slu-dual-learning.git} で利用可能です。
関連論文リスト
- Adaptive Integration of Partial Label Learning and Negative Learning for
Enhanced Noisy Label Learning [23.847160480176697]
我々はtextbfNPN というシンプルながら強力なアイデアを提案し,このアイデアは textbfNoisy ラベル学習に革命をもたらす。
我々はNLの全ての非候補ラベルを用いて信頼性の高い補完ラベルを生成し、間接的な監督を通じてモデルロバスト性を高める。
合成劣化データセットと実世界の雑音データセットの両方で実施された実験は、他のSOTA法と比較してNPNの優位性を示している。
論文 参考訳(メタデータ) (2023-12-15T03:06:19Z) - Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。
第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。
マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-22T08:06:22Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-10-24T08:56:49Z) - Pink: Unveiling the Power of Referential Comprehension for Multi-modal
LLMs [49.88461345825586]
本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。
本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。
本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
論文 参考訳(メタデータ) (2023-10-01T05:53:15Z) - Slot Induction via Pre-trained Language Model Probing and Multi-level
Contrastive Learning [62.839109775887025]
トークンレベルのスロットアノテーションの明示的な知識なしでスロット境界を誘導することを目的としたスロットインジェクション(SI)タスク。
PLMから抽出した教師なし意味知識を活用するために、教師なし事前学習言語モデル(PLM)探索とコントラスト学習機構を活用することを提案する。
提案手法は,2つのNLUベンチマークデータセット上でトークンレベルの教師付きモデルとのギャップを埋めることができ,SIタスクに有効であることが示されている。
論文 参考訳(メタデータ) (2023-08-09T05:08:57Z) - HIT-SCIR at MMNLU-22: Consistency Regularization for Multilingual Spoken
Language Understanding [56.756090143062536]
本稿では,ハイブリッドデータ拡張戦略に基づく一貫性の正則化を提案する。
フルデータセットとゼロショット設定の両方で、MASSIVEデータセット上で実験を行う。
提案手法はインテント検出とスロット充足の両方の性能を向上させる。
論文 参考訳(メタデータ) (2023-01-05T11:21:15Z) - Towards Semi-Supervised Semantics Understanding from Speech [15.672850567147854]
そこで本稿では,音声から意味論を直接学習するフレームワークを提案する。
我々のフレームワークは、事前訓練されたエンドツーエンド(E2E)ASRとBERTのような自己教師型言語モデルに基づいて構築され、限られた量のSLUコーパスに基づいて微調整される。
論文 参考訳(メタデータ) (2020-11-11T01:48:09Z) - Dual Inference for Improving Language Understanding and Generation [35.251935231914366]
自然言語理解(NLU)と自然言語生成(NLG)のタスクは、強い二重関係を持つ。
NLUは自然言語の発話に基づいて意味ラベルを予測することを目的としており、NLGはその逆を行う。
本稿では,再学習を必要とせず,推論段階における双対性を活用することを提案する。
論文 参考訳(メタデータ) (2020-10-08T20:14:41Z) - A Generative Model for Joint Natural Language Understanding and
Generation [9.810053382574017]
本研究では,NLUとNLGを結合した生成モデルを提案する。
本モデルでは,2つの対話データセットに対して,フラットおよびツリー構造の両方の形式表現を用いて,最先端のパフォーマンスを実現する。
また,モデルの性能向上のために,ラベルのないデータを活用することで,半教師付きでモデルを訓練できることも示す。
論文 参考訳(メタデータ) (2020-06-12T22:38:55Z) - Towards Unsupervised Language Understanding and Generation by Joint Dual
Learning [40.730699588561805]
モジュール型対話システムでは、自然言語理解(NLU)と自然言語生成(NLG)が重要な要素である。
本稿では,このような双対性を効果的に活用するための一般学習フレームワークを提案する。
提案手法はNLUとNLGの両方の性能を向上させることができる。
論文 参考訳(メタデータ) (2020-04-30T12:02:33Z) - Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。
提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。
新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
論文 参考訳(メタデータ) (2020-04-22T06:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。