論文の概要: Semi-Supervised Few-Shot Intent Classification and Slot Filling

• arxiv url: http://arxiv.org/abs/2109.08754v1
• Date: Fri, 17 Sep 2021 20:26:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-24 01:33:05.491186
• Title: Semi-Supervised Few-Shot Intent Classification and Slot Filling
• Title（参考訳）: 半スーパービジョンFew-Shotインテント分類とスロットフィリング
• Authors: Samyadeep Basu, Karine lp Kiun Chong, Amr Sharaf, Alex Fischer, Vishal Rohra, Michael Amoake, Hazem El-Hammamy, Ehi Nosakhare, Vijay Ramani, Benjamin Han
• Abstract要約: インテント分類(IC)とスロットフィリング(SF)は、現代の自然言語理解(NLU)システムにおける2つの基本的なタスクである。 本研究では,既存の教師付きメタ学習パイプラインに対して,コントラスト学習と教師なしデータ拡張がどのような効果をもたらすかを検討する。
• 参考スコア（独自算出の注目度）: 3.602651625446309
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Intent classification (IC) and slot filling (SF) are two fundamental tasks in modern Natural Language Understanding (NLU) systems. Collecting and annotating large amounts of data to train deep learning models for such systems is not scalable. This problem can be addressed by learning from few examples using fast supervised meta-learning techniques such as prototypical networks. In this work, we systematically investigate how contrastive learning and unsupervised data augmentation methods can benefit these existing supervised meta-learning pipelines for jointly modelled IC/SF tasks. Through extensive experiments across standard IC/SF benchmarks (SNIPS and ATIS), we show that our proposed semi-supervised approaches outperform standard supervised meta-learning methods: contrastive losses in conjunction with prototypical networks consistently outperform the existing state-of-the-art for both IC and SF tasks, while data augmentation strategies primarily improve few-shot IC by a significant margin.
• Abstract（参考訳）: インテント分類(IC)とスロットフィリング(SF)は、現代の自然言語理解(NLU)システムにおける2つの基本的なタスクである。 このようなシステムのディープラーニングモデルをトレーニングするために大量のデータを収集し、注釈付けすることは、スケーラブルではありません。 この問題は、プロトタイプネットワークのような高速教師付きメタラーニング技術を用いて、少数の例から学習することで解決できる。 本研究では,協調型IC/SFタスクにおいて,既存の教師付きメタ学習パイプラインに対して,コントラスト学習と教師なしデータ拡張がどのような効果をもたらすかを系統的に検討する。 提案手法は,標準IC/SFベンチマーク(SNIPSおよびATIS)の広範な実験を通じて,標準教師付きメタラーニング手法よりも優れていることを示す。

関連論文リスト

• Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
  本稿では,対話型連続学習フレームワークを提案する。 System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。 提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-05T03:37:28Z)
• Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
  我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。 実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-22T14:16:37Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• NetSentry: A Deep Learning Approach to Detecting Incipient Large-scale Network Attacks [9.194664029847019]
  ネットワーク侵入検出(NID)における機械学習の原理的利用法を示す。 我々は、Bi-ALSTMをベースとした、おそらく最初のNIDSであるNetSentryを提案する。 XSSやWeb bruteforceなどの攻撃検出率を最大3倍に向上させるとともに、最先端技術よりもF1スコアが33%以上上昇することが実証された。
  論文  参考訳（メタデータ） (2022-02-20T17:41:02Z)
• Hybridization of Capsule and LSTM Networks for unsupervised anomaly detection on multivariate data [0.0]
  本稿では,Long-Short-Term-Memory(LSTM)とCapsule Networksを1つのネットワークに結合した新しいNNアーキテクチャを提案する。 提案手法は教師なし学習手法を用いて大量のラベル付きトレーニングデータを見つける際の問題を克服する。
  論文  参考訳（メタデータ） (2022-02-11T10:33:53Z)
• Robust Self-Ensembling Network for Hyperspectral Image Classification [38.84831094095329]
  この問題に対処するために,ロバストな自己認識ネットワーク(RSEN)を提案する。 rsenはベースネットワークとアンサンブルネットワークを含む2つのワークから成り立っている。 提案アルゴリズムは, 最先端手法と比較して, 競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2021-04-08T13:33:14Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
  本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。 提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
  論文  参考訳（メタデータ） (2020-06-08T02:39:59Z)
• One-Shot Object Detection without Fine-Tuning [62.39210447209698]
  本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。 また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。 提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
  論文  参考訳（メタデータ） (2020-05-08T01:59:23Z)
• Learning to Classify Intents and Slot Labels Given a Handful of Examples [22.783338548129983]
  インテント分類(IC)とスロットフィリング(SF)は、ほとんどのゴール指向対話システムにおいて中核的なコンポーネントである。 超低リソースシナリオにおいて、トレーニング時に見えないクラスにおいて、ICモデルとSFモデルの性能を研究・改善するために、新しい数ショット学習タスクである、数ショットのIC/SFを提案する。 モデル非依存型メタラーニング(MAML)とプロトタイプネットワークという2つの一般的な数ショット学習アルゴリズムが,このベンチマークの微調整ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2020-04-22T18:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。