論文の概要: Few-Shot Intent Detection via Contrastive Pre-Training and Fine-Tuning

• arxiv url: http://arxiv.org/abs/2109.06349v1
• Date: Mon, 13 Sep 2021 22:28:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 04:31:34.163546
• Title: Few-Shot Intent Detection via Contrastive Pre-Training and Fine-Tuning
• Title（参考訳）: コントラストプリトレーニングと微調整によるマイナショットインテント検出
• Authors: Jianguo Zhang, Trung Bui, Seunghyun Yoon, Xiang Chen, Zhiwei Liu, Congying Xia, Quan Hung Tran, Walter Chang, Philip Yu
• Abstract要約: コントラスト付き事前学習と微調整を併用した簡易かつ効果的に数発のインテント検出方式を提案する。 まず、収集した意図データセットに基づいて、自己教師付きコントラスト事前学習を行い、意味論的に類似した発話を識別することを暗黙的に学習する。 次に、教師付きコントラスト学習とともに、数発のインテント検出を行い、同じインテントから発声を明示的に引き出す。
• 参考スコア（独自算出の注目度）: 27.154414939086426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we focus on a more challenging few-shot intent detection scenario where many intents are fine-grained and semantically similar. We present a simple yet effective few-shot intent detection schema via contrastive pre-training and fine-tuning. Specifically, we first conduct self-supervised contrastive pre-training on collected intent datasets, which implicitly learns to discriminate semantically similar utterances without using any labels. We then perform few-shot intent detection together with supervised contrastive learning, which explicitly pulls utterances from the same intent closer and pushes utterances across different intents farther. Experimental results show that our proposed method achieves state-of-the-art performance on three challenging intent detection datasets under 5-shot and 10-shot settings.
• Abstract（参考訳）: 本研究では,多くの意図がきめ細かで意味的に類似した,より難易度の高いインテント検出シナリオに注目する。 本稿では,コントラストプリトレーニングと微調整による簡易かつ効果的なインテント検出スキーマを提案する。 具体的には、まず、収集されたインテントデータセット上で、自己教師付きコントラストプリトレーニングを行い、ラベルを使用せずに、意味的に類似した発話を識別することを暗黙的に学習する。 次に,同じ意図から発話を明示的に引き寄せ,異なる意図を越えて発話を遠くへ押し上げる,教師付きコントラスト学習と共に,少数ショットの意図検出を行う。 実験の結果,提案手法は,5ショットと10ショットの条件下での3つの挑戦意図検出データセットに対して,最先端の性能を実現する。

関連論文リスト

• All Labels Together: Low-shot Intent Detection with an Efficient Label Semantic Encoding Paradigm [48.02790193676742]
  インテント検出タスクでは、インテントラベルから意味のあるセマンティック情報を活用することは、いくつかのシナリオで特に有用である。 本稿では,全てのラベル候補に対する入力音声の比較が可能なエンドツーエンドのワン・ツー・オールシステムを提案する。 数発のインテント検出タスクの実験では、トレーニングリソースが極めて少ない場合、One-to-Allが特に有効であることが示されている。
  論文  参考訳（メタデータ） (2023-09-07T08:50:45Z)
• QAID: Question Answering Inspired Few-shot Intent Detection [5.516275800944541]
  我々は、発話や意図の名前を質問や回答として扱うことにより、質問応答検索タスクとして意図検出を再構築する。 数発のインテント検出ベンチマークの結果から,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-03-02T21:35:15Z)
• Learning Discriminative Representations and Decision Boundaries for Open Intent Detection [16.10123071366136]
  オープンインテント検出は自然言語理解において重要な問題である。 オープンな意図検出のための距離認識意図表現と適応的決定境界を学習するDA-ADBを提案する。 我々のフレームワークは3つのベンチマークデータセットで大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-11T10:02:09Z)
• Exploring the Limits of Natural Language Inference Based Setup for Few-Shot Intent Detection [13.971616443394474]
  汎用的なFewショットインテント検出は、より現実的だが難しいセットアップである。 自然言語推論に基づくシンプルで効果的な手法を用いる。 提案手法は,1ショットと5ショットのインテント検出タスクにおいて,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-12-14T14:47:23Z)
• Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning [51.03781020616402]
  現実世界のアプリケーションで特定のアクション理解の需要が高まっているため、きめ細かいアクション認識が注目を集めている。 そこで本研究では,各クラスに付与されるサンプル数だけを用いて,新規なきめ細かい動作を認識することを目的とした,数発のきめ細かな動作認識問題を提案する。 粒度の粗い動作では進展があったが、既存の数発の認識手法では、粒度の細かい動作を扱う2つの問題に遭遇する。
  論文  参考訳（メタデータ） (2021-08-15T02:21:01Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Generalized Zero-shot Intent Detection via Commonsense Knowledge [5.398580049917152]
  学習データ不足の問題を克服するために,教師なしの方法でコモンセンス知識を活用する意図検出モデル RIDE を提案する。 RIDEは、発話と意図ラベルの間の深い意味的関係をキャプチャする、堅牢で一般化可能な関係メタ機能を計算する。 広範に使用されている3つのインテント検出ベンチマークに関する広範囲な実験的分析により、関係メタ機能により、目に見えないインテントと見えないインテントの両方を検出する精度が著しく向上することが示された。
  論文  参考訳（メタデータ） (2021-02-04T23:36:41Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)
• Efficient Intent Detection with Dual Sentence Encoders [53.16532285820849]
  本稿では,USE や ConveRT などの事前訓練された二重文エンコーダによるインテント検出手法を提案する。 提案するインテント検出器の有用性と適用性を示し,完全なBERT-Largeモデルに基づくインテント検出器よりも優れた性能を示す。 コードだけでなく、新しい挑戦的な単一ドメイン意図検出データセットもリリースしています。
  論文  参考訳（メタデータ） (2020-03-10T15:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。