論文の概要: Template-based Approach to Zero-shot Intent Recognition
- arxiv url: http://arxiv.org/abs/2206.10914v1
- Date: Wed, 22 Jun 2022 08:44:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-24 01:16:48.766974
- Title: Template-based Approach to Zero-shot Intent Recognition
- Title(参考訳): テンプレートによるゼロショットインテント認識
- Authors: Dmitry Lamanov and Pavel Burnyshev and Ekaterina Artemova and Valentin
Malykh and Andrey Bout and Irina Piontkovskaya
- Abstract要約: 本稿では、意図認識のための一般化されたゼロショット設定について検討する。
ゼロショットテキスト分類のベストプラクティスに従い、文ペアモデリングアプローチを用いてタスクを扱います。
未確認の意図に対して,従来のf1尺度を最大16%上回りました。
- 参考スコア(独自算出の注目度): 7.330908962006392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent advances in transfer learning techniques and pre-training of large
contextualized encoders foster innovation in real-life applications, including
dialog assistants. Practical needs of intent recognition require effective data
usage and the ability to constantly update supported intents, adopting new
ones, and abandoning outdated ones. In particular, the generalized zero-shot
paradigm, in which the model is trained on the seen intents and tested on both
seen and unseen intents, is taking on new importance. In this paper, we explore
the generalized zero-shot setup for intent recognition. Following best
practices for zero-shot text classification, we treat the task with a sentence
pair modeling approach. We outperform previous state-of-the-art f1-measure by
up to 16\% for unseen intents, using intent labels and user utterances and
without accessing external sources (such as knowledge bases). Further
enhancement includes lexicalization of intent labels, which improves
performance by up to 7\%. By using task transferring from other sentence pair
tasks, such as Natural Language Inference, we gain additional improvements.
- Abstract(参考訳): トランスファー学習技術の最近の進歩と、大規模なコンテキストエンコーダの事前学習は、ダイアログアシスタントを含む実生活アプリケーションにおけるイノベーションを促進する。
インテント認識の実践的なニーズは、効果的なデータ使用と、サポート対象の更新、新しいインテントの採用、古いインテントの放棄を必要とする。
特に、モデルが見た意図に基づいて訓練され、見た意図と見えない意図の両方でテストされる一般化されたゼロショットパラダイムが、新たな重要性を担っている。
本稿では,意図認識のための汎用ゼロショット設定について検討する。
ゼロショットテキスト分類のベストプラクティスに従い、文ペアモデリングアプローチを用いてタスクを扱います。
我々は、意図ラベルやユーザ発話を使用し、外部ソース(知識ベースなど)にアクセスせずに、それまでの最先端のf1尺度を最大16\%上回る。
さらなる拡張にはインテントラベルの語彙化が含まれており、パフォーマンスが最大7\%向上している。
自然言語推論などの他の文ペアタスクからタスクを転送することで、さらなる改善が得られます。
関連論文リスト
- Continuously Learning New Words in Automatic Speech Recognition [64.03177537617113]
本稿では,新たな単語認識のための自己教師付き連続学習手法を提案する。
過去の研究から,メモリ拡張型自動音声認識モデルを用いた。
提案手法により,新たな単語の出現頻度が高くなると,新たな単語のパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2024-01-09T10:39:17Z) - Telling Stories for Common Sense Zero-Shot Action Recognition [13.192214542337657]
本稿では,WikiHowの記事から抽出した多様なアクションクラスに対するリッチなテキスト記述を含む,新しいデータセットであるStoriesを紹介する。
各クラスに対して、アクションを特徴付けるために必要なステップ、シーン、オブジェクト、動詞を詳述した多文の物語を抽出する。
このコンテキストデータは、アクション間のニュアンス付き関係のモデリングを可能にし、ゼロショット転送への道を開く。
論文 参考訳(メタデータ) (2023-09-29T15:34:39Z) - POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained
models [62.23255433487586]
モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。
本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
論文 参考訳(メタデータ) (2023-04-29T22:05:22Z) - CSSL-MHTR: Continual Self-Supervised Learning for Scalable Multi-script
Handwritten Text Recognition [7.39273105421963]
我々は,手書き文字認識における破滅的な忘れの問題を軽減するために,連続的な自己指導型学習の可能性を探究する。
提案手法は,各タスクにアダプタと呼ばれる中間層を追加し,現在のタスクを学習しながら,前モデルからの知識を効率的に抽出する。
私たちは英語、イタリア語、ロシア語のスクリプトで最先端のパフォーマンスを達成しましたが、タスクごとにいくつかのパラメータしか追加していません。
論文 参考訳(メタデータ) (2023-03-16T14:27:45Z) - Selective In-Context Data Augmentation for Intent Detection using
Pointwise V-Information [100.03188187735624]
PLMとPVI(pointwise V-information)に基づく新しい手法を導入し,モデル学習におけるデータポイントの有用性を計測する。
提案手法はまず,学習データの小さなシード上でPLMを微調整し,与えられた意図に対応する発話を新たに生成する。
そこで本手法は,大規模言語モデルの表現力を活用し,多様な学習データを生成する。
論文 参考訳(メタデータ) (2023-02-10T07:37:49Z) - Zero-Shot Text Classification with Self-Training [8.68603153534916]
ゼロショット分類器を最も確実な予測で微調整することで、幅広いテキスト分類タスクにおいて大幅な性能向上が期待できることを示す。
自己学習は、手元にあるタスクにゼロショットモデルを適用する。
論文 参考訳(メタデータ) (2022-10-31T17:55:00Z) - Revisiting Classifier: Transferring Vision-Language Models for Video
Recognition [102.93524173258487]
ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。
本研究では,映像分類作業における知識の伝達に着目した。
予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
論文 参考訳(メタデータ) (2022-07-04T10:00:47Z) - New Intent Discovery with Pre-training and Contrastive Learning [21.25371293641141]
新しい意図発見は、ユーザ発話から新しい意図カテゴリーを明らかにして、サポート対象クラスのセットを拡張することを目的としている。
既存のアプローチは通常、大量のラベル付き発話に依存する。
本稿では,クラスタリングのためのラベルなしデータにおける自己超越的信号を活用するために,新たなコントラスト損失を提案する。
論文 参考訳(メタデータ) (2022-05-25T17:07:25Z) - Learning to Prompt for Vision-Language Models [82.25005817904027]
視覚言語による事前学習が表現学習の有望な代替手段として登場した。
画像と離散ラベルを使って、視覚的な概念と見なされる一連の重みを学習する伝統から、2つの異なるエンコーダのための画像と生のテキストの整列へと移行する。
このようなパラダイムは、より広範な監視源の恩恵を受け、下流タスクへのゼロショット転送を可能にします。
論文 参考訳(メタデータ) (2021-09-02T17:57:31Z) - Continuous representations of intents for dialogue systems [10.031004070657122]
最近まで、焦点は固定された、離散的な多くの意図を検出することであった。
近年,ゼロショット学習の文脈において,無意識の意図検出に関するいくつかの研究が行われている。
本稿では,専門家のIntent Spaceに意図を連続的に配置する新しいモデルを提案する。
論文 参考訳(メタデータ) (2021-05-08T15:08:20Z) - Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。
本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。
我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
論文 参考訳(メタデータ) (2020-10-05T17:52:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。