論文の概要: Meta learning to classify intent and slot labels with noisy few shot examples

• arxiv url: http://arxiv.org/abs/2012.07516v1
• Date: Mon, 30 Nov 2020 18:53:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 21:38:11.543629
• Title: Meta learning to classify intent and slot labels with noisy few shot examples
• Title（参考訳）: ノイズの少ないショット例を用いたインテントとスロットラベルの分類のためのメタ学習
• Authors: Shang-Wen Li, Jason Krone, Shuyan Dong, Yi Zhang, and Yaser Al-onaizan
• Abstract要約: 音声言語理解(SLU)モデルは、データハングリーで悪名高い。 SLUは目的分類(IC)とスロットラベリング(SL)の2つのコア問題から構成される。 本稿では,従来の微調整ベースラインとメタラーニング手法であるモデル非依存メタラーニング(MAML)を,ICの精度とSL F1の精度で一貫した性能で向上することを示す。
• 参考スコア（独自算出の注目度）: 11.835266162072486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently deep learning has dominated many machine learning areas, including spoken language understanding (SLU). However, deep learning models are notorious for being data-hungry, and the heavily optimized models are usually sensitive to the quality of the training examples provided and the consistency between training and inference conditions. To improve the performance of SLU models on tasks with noisy and low training resources, we propose a new SLU benchmarking task: few-shot robust SLU, where SLU comprises two core problems, intent classification (IC) and slot labeling (SL). We establish the task by defining few-shot splits on three public IC/SL datasets, ATIS, SNIPS, and TOP, and adding two types of natural noises (adaptation example missing/replacing and modality mismatch) to the splits. We further propose a novel noise-robust few-shot SLU model based on prototypical networks. We show the model consistently outperforms the conventional fine-tuning baseline and another popular meta-learning method, Model-Agnostic Meta-Learning (MAML), in terms of achieving better IC accuracy and SL F1, and yielding smaller performance variation when noises are present.
• Abstract（参考訳）: 近年のディープラーニングは、音声言語理解(SLU)を含む多くの機械学習領域を支配している。 しかし、ディープラーニングモデルはデータ処理で有名であり、高度に最適化されたモデルは通常、提供されるトレーニング例の品質と、トレーニングと推論条件の一貫性に敏感である。 そこで本研究では,SLUが意図分類(IC)とスロットラベリング(SL)という2つの中核的問題から構成される,少数のロバストなSLUのベンチマークタスクを提案する。 この課題は,ATIS,SNIPS,TOPの3つの公開IC/SLデータセット上で,数発スプリットを定義し,そのスプリットに2種類の自然雑音(適応例,欠落/リプレース,モダリティミスマッチ)を付加することで解決する。 さらに,prototypepical networkに基づく新しいノイズロバスト数発sluモデルを提案する。 本稿では,従来の微調整ベースラインと,他のメタラーニング手法であるMAML(Model-Agnostic Meta-Learning)より優れたIC精度とSL F1を実現し,ノイズ発生時の性能変化の低減を図る。

関連論文リスト

• Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning [50.1035273069458]
  音声言語理解(SLU)はタスク指向対話システムにおける中核的なタスクである。 本稿では,発話レベル,スロットレベル,単語レベルを含む3段階のコントラスト学習を実現するためのマルチレベルMMCLフレームワークを提案する。 本フレームワークは,2つの公開マルチインテリジェントSLUデータセットに対して,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2024-05-31T14:34:23Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• Compositional Generalization in Spoken Language Understanding [58.609624319953156]
  本稿では, (a) 新規スロットの組み合わせと (b) 長さの一般化の2種類の構成性について検討する。 本研究では,我々の合成SLUモデルが最先端のBERT SLUモデルより大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-25T21:46:06Z)
• A Study on the Integration of Pre-trained SSL, ASR, LM and SLU Models for Spoken Language Understanding [42.345266746904514]
  4種類の事前学習モデルとそれらの組み合わせを音声言語理解(SLU)に適用する。 我々は、大量の未ペアデータに基づいて事前訓練された自己教師付き音声・言語モデル(LM)を利用して、強い音声・テキスト表現を抽出する。 また、より大きな外部音声認識(ASR)やSLUコーパスで事前訓練した教師付きモデルについても検討する。
  論文  参考訳（メタデータ） (2022-11-10T20:59:13Z)
• CLUES: Few-Shot Learning Evaluation in Natural Language Understanding [81.63968985419982]
  我々は,NLUモデルの少数ショット学習能力を評価するためのベンチマークであるCLUESを紹介する。 近年のモデルでは,大量のラベル付きデータにアクセスすると人的パフォーマンスが向上するが,ほとんどのタスクにおいて数ショット設定では,パフォーマンスに大きなギャップが生じることが実証された。
  論文  参考訳（メタデータ） (2021-11-04T00:43:15Z)
• A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
  少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。 本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
  論文  参考訳（メタデータ） (2021-10-21T13:25:52Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• Adaptive Name Entity Recognition under Highly Unbalanced Data [5.575448433529451]
  我々は,2方向LSTM (BI-LSTM) 上に積み重ねた条件付きランダムフィールド (CRF) 層からなるニューラルアーキテクチャについて実験を行った。 WeakクラスとStrongクラスを2つの異なるセットに分割し、各セットのパフォーマンスを最適化するために2つのBi-LSTM-CRFモデルを適切に設計するアドオン分類モデルを提案する。
  論文  参考訳（メタデータ） (2020-03-10T06:56:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。