論文の概要: Pre-training Intent-Aware Encoders for Zero- and Few-Shot Intent Classification

• arxiv url: http://arxiv.org/abs/2305.14827v2
• Date: Tue, 14 Nov 2023 02:23:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 18:47:56.605656
• Title: Pre-training Intent-Aware Encoders for Zero- and Few-Shot Intent Classification
• Title（参考訳）: ゼロショットおよびマイショットインテント分類のための事前学習インテントアウェアエンコーダ
• Authors: Mujeen Sung, James Gung, Elman Mansimov, Nikolaos Pappas, Raphael Shu, Salvatore Romeo, Yi Zhang, Vittorio Castelli
• Abstract要約: そこで本研究では,テキストエンコーダの意図的プシュードラベルを用いたコントラスト学習を用いた新しい事前学習手法を提案する。 また、発話のエンコーディングを意図名と整合させるように設計されたPIE(Pre-trained Intent-aware)についても紹介する。 我々のPIEモデルは,従来のNウェイゼロおよびワンショット設定の最先端テキストエンコーダよりも最大5.4%,4.0%高い精度を実現している。
• 参考スコア（独自算出の注目度）: 20.28965485899908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intent classification (IC) plays an important role in task-oriented dialogue systems. However, IC models often generalize poorly when training without sufficient annotated examples for each user intent. We propose a novel pre-training method for text encoders that uses contrastive learning with intent psuedo-labels to produce embeddings that are well-suited for IC tasks, reducing the need for manual annotations. By applying this pre-training strategy, we also introduce Pre-trained Intent-aware Encoder (PIE), which is designed to align encodings of utterances with their intent names. Specifically, we first train a tagger to identify key phrases within utterances that are crucial for interpreting intents. We then use these extracted phrases to create examples for pre-training a text encoder in a contrastive manner. As a result, our PIE model achieves up to 5.4% and 4.0% higher accuracy than the previous state-of-the-art text encoder for the N-way zero- and one-shot settings on four IC datasets.
• Abstract（参考訳）: Intent Classification (IC) はタスク指向対話システムにおいて重要な役割を果たす。 しかし、ICモデルは、各ユーザ意図に対して十分なアノテート例のないトレーニングでは、よく一般化されない。 本稿では,テキストエンコーダのための新しい事前学習法を提案する。icタスクに適した組込みを生成するために,インテントpsuedoラベルを用いたコントラスト学習を用いて,手動アノテーションの必要性を低減させる。 この事前学習戦略を適用することで、発話のエンコーディングを意図した名前と整合させるPIE(Pre-trained Intent-aware Encoder)も導入する。 具体的には、まずタグをトレーニングし、意図の解釈に不可欠な発話中のキーフレーズを識別する。 次に、抽出したフレーズを用いて、コントラスト的な方法でテキストエンコーダを事前学習する例を作成する。 その結果,4つのicデータセットのn-way zero-およびone-shot設定における従来の最先端テキストエンコーダよりも最大5.4%,4.0%高い精度が得られる。

関連論文リスト

• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Extracting Text Representations for Terms and Phrases in Technical Domains [9.27244202193623]
  そこで本研究では,大容量の事前学習組込み行列を再構築する目的で,小文字モデルを用いたテキスト符号化手法を提案する。 このアプローチでトレーニングされたモデルは、技術領域における文エンコーダの品質に適合するだけでなく、5倍小さく、最大10倍高速である。
  論文  参考訳（メタデータ） (2023-05-25T08:59:36Z)
• DeCap: Decoding CLIP Latents for Zero-Shot Captioning via Text-Only Training [73.74291217502928]
  ゼロショットキャプションのための単純なフレームワークであるDeCapを提案する。 軽量な視覚認識言語デコーダを提案する。 視覚的な埋め込みはCLIPテキスト埋め込み空間に投影するが、投影された埋め込みは視覚的な入力の情報を保持する。
  論文  参考訳（メタデータ） (2023-03-06T11:02:47Z)
• Template-based Approach to Zero-shot Intent Recognition [7.330908962006392]
  本稿では、意図認識のための一般化されたゼロショット設定について検討する。 ゼロショットテキスト分類のベストプラクティスに従い、文ペアモデリングアプローチを用いてタスクを扱います。 未確認の意図に対して,従来のf1尺度を最大16%上回りました。
  論文  参考訳（メタデータ） (2022-06-22T08:44:59Z)
• PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning [69.70602220716718]
  コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。 特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。 我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
  論文  参考訳（メタデータ） (2022-05-13T00:15:44Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)
• Tokenwise Contrastive Pretraining for Finer Speech-to-BERT Alignment in End-to-End Speech-to-Intent Systems [31.18865184576272]
  この作業は、音声の埋め込みとBERTの埋め込みをトークン単位で整列させる、ずっと効率的できめ細かな方法で、これを行うためのステップです。 音声エンコーダからトークンレベルのコンテキスト埋め込みを抽出するために,クロスモーダルアテンション機構を用いた,シンプルながら斬新な手法を提案する。 音声を用いて意図認識を行うための事前訓練モデルの微調整により、2つの広く使用されているSLUデータセット上での最先端の性能が直接得られる。
  論文  参考訳（メタデータ） (2022-04-11T15:24:25Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Efficient Intent Detection with Dual Sentence Encoders [53.16532285820849]
  本稿では,USE や ConveRT などの事前訓練された二重文エンコーダによるインテント検出手法を提案する。 提案するインテント検出器の有用性と適用性を示し,完全なBERT-Largeモデルに基づくインテント検出器よりも優れた性能を示す。 コードだけでなく、新しい挑戦的な単一ドメイン意図検出データセットもリリースしています。
  論文  参考訳（メタデータ） (2020-03-10T15:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。