論文の概要: Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning
- arxiv url: http://arxiv.org/abs/2405.20852v1
- Date: Fri, 31 May 2024 14:34:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 14:18:09.500400
- Title: Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning
- Title（参考訳）: 多段階多粒性コントラスト学習による音声言語理解に向けて
- Authors: Xuxin Cheng, Wanshi Xu, Zhihong Zhu, Hongxiang Li, Yuexian Zou,
- Abstract要約: 音声言語理解(SLU)はタスク指向対話システムにおける中核的なタスクである。
本稿では,発話レベル,スロットレベル,単語レベルを含む3段階のコントラスト学習を実現するためのマルチレベルMMCLフレームワークを提案する。
本フレームワークは,2つの公開マルチインテリジェントSLUデータセットに対して,最先端の新たな結果を実現する。
- 参考スコア（独自算出の注目度）: 50.1035273069458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spoken language understanding (SLU) is a core task in task-oriented dialogue systems, which aims at understanding the user's current goal through constructing semantic frames. SLU usually consists of two subtasks, including intent detection and slot filling. Although there are some SLU frameworks joint modeling the two subtasks and achieving high performance, most of them still overlook the inherent relationships between intents and slots and fail to achieve mutual guidance between the two subtasks. To solve the problem, we propose a multi-level multi-grained SLU framework MMCL to apply contrastive learning at three levels, including utterance level, slot level, and word level to enable intent and slot to mutually guide each other. For the utterance level, our framework implements coarse granularity contrastive learning and fine granularity contrastive learning simultaneously. Besides, we also apply the self-distillation method to improve the robustness of the model. Experimental results and further analysis demonstrate that our proposed model achieves new state-of-the-art results on two public multi-intent SLU datasets, obtaining a 2.6 overall accuracy improvement on the MixATIS dataset compared to previous best models.
- Abstract（参考訳）: 音声言語理解(SLU)は、タスク指向対話システムにおける中核的なタスクであり、セマンティックフレームの構築を通じてユーザの現在の目標を理解することを目的としている。
SLUは通常、2つのサブタスクで構成され、インテント検出とスロットフィリングを含む。
2つのサブタスクを共同でモデリングし、高いパフォーマンスを達成するSLUフレームワークはいくつか存在するが、ほとんどのフレームワークはインテントとスロットの固有の関係を見落としており、2つのサブタスク間の相互ガイダンスを達成できない。
そこで本稿では,発話レベル,スロットレベル,単語レベルという3段階のコントラスト学習を多段階のSLUフレームワークMMCLで実現する。
発話レベルについては,粗粒度比較学習と微粒度比較学習を同時に実施する。
また, モデルの堅牢性向上のために, 自己蒸留法を適用した。
実験結果とさらなる分析により,提案モデルが2つの公開マルチインテントSLUデータセットに対して新たな最先端結果を実現し,MixATISデータセットの2.6の総合的精度向上が得られた。
関連論文リスト
- A Two-Stage Prediction-Aware Contrastive Learning Framework for Multi-Intent NLU [41.45522079026888]
NLU(Multi-intent Natural Language Understanding)は、単一発話における複数の意図から生じるモデルの混乱によって、非常に難しい課題を提示する。
以前の作業では、異なる多目的ラベル間のマージンを増やすために、モデルを対照的に訓練した。
マルチインテリジェントNLUのための2段階予測対応コントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-05T13:09:55Z) - Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。
第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。
マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-22T08:06:22Z) - I$^2$KD-SLU: An Intra-Inter Knowledge Distillation Framework for
Zero-Shot Cross-Lingual Spoken Language Understanding [1.223779595809275]
ゼロショット音声言語理解のためのイントライントラ知識蒸留フレームワーク(I$2KD-SLU)を提案する。
具体的には,意図予測と同一発話のスロット予測の間に知識内蒸留を適用するだけでなく,意図予測と同一発話のスロット予測との間に知識間蒸留を適用する。
実験の結果,提案するフレームワークは,強靭なベースラインに比べて性能が著しく向上することが示された。
論文 参考訳（メタデータ） (2023-10-04T05:45:23Z) - Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of
Semantics and Depth [83.94528876742096]
我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。
次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。
最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
論文 参考訳（メタデータ） (2022-06-21T17:40:55Z) - Multi-level Contrastive Learning for Cross-lingual Spoken Language
Understanding [90.87454350016121]
コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。
言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
論文 参考訳（メタデータ） (2022-05-07T13:44:28Z) - Contrastive Instruction-Trajectory Learning for Vision-Language
Navigation [66.16980504844233]
視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。
先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。
本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-08T06:32:52Z) - Meta learning to classify intent and slot labels with noisy few shot
examples [11.835266162072486]
音声言語理解(SLU)モデルは、データハングリーで悪名高い。
SLUは目的分類(IC)とスロットラベリング(SL)の2つのコア問題から構成される。
本稿では,従来の微調整ベースラインとメタラーニング手法であるモデル非依存メタラーニング(MAML)を,ICの精度とSL F1の精度で一貫した性能で向上することを示す。
論文 参考訳（メタデータ） (2020-11-30T18:53:30Z) - PIN: A Novel Parallel Interactive Network for Spoken Language
Understanding [68.53121591998483]
既存の RNN ベースのアプローチでは、ID と SF のタスクは、それらの間の相関情報を利用するために、しばしば共同でモデル化される。
SNIPSとATISという2つのベンチマークデータセットによる実験は、我々のアプローチの有効性を実証している。
さらに,事前学習した言語モデルBERTが生成した発話の特徴埋め込みを用いて,提案手法はすべての比較手法の中で最先端の手法を実現する。
論文 参考訳（メタデータ） (2020-09-28T15:59:31Z) - Dual Learning for Semi-Supervised Natural Language Understanding [29.692288627633374]
自然言語理解(NLU)は、文を構造化意味形式に変換する。
NLU, semantic-to-sentence generation (SSG) の2つのタスクを導入する。
本稿では,対応する2つのモデルを用いた半教師付きNLUのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-26T07:17:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。