論文の概要: Meta learning to classify intent and slot labels with noisy few shot
examples
- arxiv url: http://arxiv.org/abs/2012.07516v1
- Date: Mon, 30 Nov 2020 18:53:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-06 21:38:11.543629
- Title: Meta learning to classify intent and slot labels with noisy few shot
examples
- Title(参考訳): ノイズの少ないショット例を用いたインテントとスロットラベルの分類のためのメタ学習
- Authors: Shang-Wen Li, Jason Krone, Shuyan Dong, Yi Zhang, and Yaser Al-onaizan
- Abstract要約: 音声言語理解(SLU)モデルは、データハングリーで悪名高い。
SLUは目的分類(IC)とスロットラベリング(SL)の2つのコア問題から構成される。
本稿では,従来の微調整ベースラインとメタラーニング手法であるモデル非依存メタラーニング(MAML)を,ICの精度とSL F1の精度で一貫した性能で向上することを示す。
- 参考スコア(独自算出の注目度): 11.835266162072486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently deep learning has dominated many machine learning areas, including
spoken language understanding (SLU). However, deep learning models are
notorious for being data-hungry, and the heavily optimized models are usually
sensitive to the quality of the training examples provided and the consistency
between training and inference conditions. To improve the performance of SLU
models on tasks with noisy and low training resources, we propose a new SLU
benchmarking task: few-shot robust SLU, where SLU comprises two core problems,
intent classification (IC) and slot labeling (SL). We establish the task by
defining few-shot splits on three public IC/SL datasets, ATIS, SNIPS, and TOP,
and adding two types of natural noises (adaptation example missing/replacing
and modality mismatch) to the splits. We further propose a novel noise-robust
few-shot SLU model based on prototypical networks. We show the model
consistently outperforms the conventional fine-tuning baseline and another
popular meta-learning method, Model-Agnostic Meta-Learning (MAML), in terms of
achieving better IC accuracy and SL F1, and yielding smaller performance
variation when noises are present.
- Abstract(参考訳): 近年のディープラーニングは、音声言語理解(SLU)を含む多くの機械学習領域を支配している。
しかし、ディープラーニングモデルはデータ処理で有名であり、高度に最適化されたモデルは通常、提供されるトレーニング例の品質と、トレーニングと推論条件の一貫性に敏感である。
そこで本研究では,SLUが意図分類(IC)とスロットラベリング(SL)という2つの中核的問題から構成される,少数のロバストなSLUのベンチマークタスクを提案する。
この課題は,ATIS,SNIPS,TOPの3つの公開IC/SLデータセット上で,数発スプリットを定義し,そのスプリットに2種類の自然雑音(適応例,欠落/リプレース,モダリティミスマッチ)を付加することで解決する。
さらに,prototypepical networkに基づく新しいノイズロバスト数発sluモデルを提案する。
本稿では,従来の微調整ベースラインと,他のメタラーニング手法であるMAML(Model-Agnostic Meta-Learning)より優れたIC精度とSL F1を実現し,ノイズ発生時の性能変化の低減を図る。
関連論文リスト
- Compositional Generalization in Spoken Language Understanding [58.609624319953156]
本稿では, (a) 新規スロットの組み合わせと (b) 長さの一般化の2種類の構成性について検討する。
本研究では,我々の合成SLUモデルが最先端のBERT SLUモデルより大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-12-25T21:46:06Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - A Study on the Integration of Pre-trained SSL, ASR, LM and SLU Models
for Spoken Language Understanding [42.345266746904514]
4種類の事前学習モデルとそれらの組み合わせを音声言語理解(SLU)に適用する。
我々は、大量の未ペアデータに基づいて事前訓練された自己教師付き音声・言語モデル(LM)を利用して、強い音声・テキスト表現を抽出する。
また、より大きな外部音声認識(ASR)やSLUコーパスで事前訓練した教師付きモデルについても検討する。
論文 参考訳(メタデータ) (2022-11-10T20:59:13Z) - Self-Supervised Learning for speech recognition with Intermediate layer
supervision [52.93758711230248]
自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。
ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。
LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2021-12-16T10:45:05Z) - CLUES: Few-Shot Learning Evaluation in Natural Language Understanding [81.63968985419982]
我々は,NLUモデルの少数ショット学習能力を評価するためのベンチマークであるCLUESを紹介する。
近年のモデルでは,大量のラベル付きデータにアクセスすると人的パフォーマンスが向上するが,ほとんどのタスクにおいて数ショット設定では,パフォーマンスに大きなギャップが生じることが実証された。
論文 参考訳(メタデータ) (2021-11-04T00:43:15Z) - Event Classification with Multi-step Machine Learning [0.0]
マルチステップ機械学習(ML)は、既知の中間推論目標を持つ接続されたサブタスクに編成される。
分散アーキテクチャサーチ(DARTS)と単一パスワンショットNAS(SPOS-NAS)をテストし、損失関数の構築を改善し、すべてのMLモデルをスムーズに学習する。
DARTSとSPOS-NASを最適化と選択、多段階機械学習システムとの接続として使用することにより、(1)高パフォーマンスモデルの組み合わせを迅速かつうまく選択でき、(2)グリッドサーチなどのベースラインアルゴリズムと整合性があることがわかった。
論文 参考訳(メタデータ) (2021-06-04T07:22:05Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳(メタデータ) (2021-01-20T11:48:12Z) - SemiNLL: A Framework of Noisy-Label Learning by Semi-Supervised Learning [58.26384597768118]
SemiNLLはSS戦略とSSLモデルをエンドツーエンドで組み合わせた汎用フレームワークである。
我々のフレームワークは、様々なSS戦略やSSLバックボーンを吸収し、そのパワーを利用して有望なパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-12-02T01:49:47Z) - Adaptive Name Entity Recognition under Highly Unbalanced Data [5.575448433529451]
我々は,2方向LSTM (BI-LSTM) 上に積み重ねた条件付きランダムフィールド (CRF) 層からなるニューラルアーキテクチャについて実験を行った。
WeakクラスとStrongクラスを2つの異なるセットに分割し、各セットのパフォーマンスを最適化するために2つのBi-LSTM-CRFモデルを適切に設計するアドオン分類モデルを提案する。
論文 参考訳(メタデータ) (2020-03-10T06:56:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。