論文の概要: Template-based Approach to Zero-shot Intent Recognition

• arxiv url: http://arxiv.org/abs/2206.10914v1
• Date: Wed, 22 Jun 2022 08:44:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 01:16:48.766974
• Title: Template-based Approach to Zero-shot Intent Recognition
• Title（参考訳）: テンプレートによるゼロショットインテント認識
• Authors: Dmitry Lamanov and Pavel Burnyshev and Ekaterina Artemova and Valentin Malykh and Andrey Bout and Irina Piontkovskaya
• Abstract要約: 本稿では、意図認識のための一般化されたゼロショット設定について検討する。 ゼロショットテキスト分類のベストプラクティスに従い、文ペアモデリングアプローチを用いてタスクを扱います。 未確認の意図に対して,従来のf1尺度を最大16%上回りました。
• 参考スコア（独自算出の注目度）: 7.330908962006392
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent advances in transfer learning techniques and pre-training of large contextualized encoders foster innovation in real-life applications, including dialog assistants. Practical needs of intent recognition require effective data usage and the ability to constantly update supported intents, adopting new ones, and abandoning outdated ones. In particular, the generalized zero-shot paradigm, in which the model is trained on the seen intents and tested on both seen and unseen intents, is taking on new importance. In this paper, we explore the generalized zero-shot setup for intent recognition. Following best practices for zero-shot text classification, we treat the task with a sentence pair modeling approach. We outperform previous state-of-the-art f1-measure by up to 16\% for unseen intents, using intent labels and user utterances and without accessing external sources (such as knowledge bases). Further enhancement includes lexicalization of intent labels, which improves performance by up to 7\%. By using task transferring from other sentence pair tasks, such as Natural Language Inference, we gain additional improvements.
• Abstract（参考訳）: トランスファー学習技術の最近の進歩と、大規模なコンテキストエンコーダの事前学習は、ダイアログアシスタントを含む実生活アプリケーションにおけるイノベーションを促進する。 インテント認識の実践的なニーズは、効果的なデータ使用と、サポート対象の更新、新しいインテントの採用、古いインテントの放棄を必要とする。 特に、モデルが見た意図に基づいて訓練され、見た意図と見えない意図の両方でテストされる一般化されたゼロショットパラダイムが、新たな重要性を担っている。 本稿では,意図認識のための汎用ゼロショット設定について検討する。 ゼロショットテキスト分類のベストプラクティスに従い、文ペアモデリングアプローチを用いてタスクを扱います。 我々は、意図ラベルやユーザ発話を使用し、外部ソース(知識ベースなど)にアクセスせずに、それまでの最先端のf1尺度を最大16\%上回る。 さらなる拡張にはインテントラベルの語彙化が含まれており、パフォーマンスが最大7\%向上している。 自然言語推論などの他の文ペアタスクからタスクを転送することで、さらなる改善が得られます。

関連論文リスト

• IntentGPT: Few-shot Intent Discovery with Large Language Models [9.245106106117317]
  我々は、新たな意図が現れると識別できるモデルを開発する。 IntentGPTは、Large Language Models (LLM) を効果的に促し、最小限のラベル付きデータで新しいインテントを発見する、トレーニング不要の手法である。 実験の結果,IntentGPTはドメイン固有データと微調整を必要とする従来の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-16T02:16:59Z)
• Continual Learning Improves Zero-Shot Action Recognition [12.719578035745744]
  ゼロショット動作認識に対処するための連続学習に基づく新しい手法を提案する。 メモリは分類モデルをトレーニングするために使用され、古いクラスと新しいクラスの両方にバランスのとれた露出を確保する。 実験により、Em GILは目に見えないクラスにおける一般化を改善し、ゼロショット認識における新しい最先端を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-14T13:42:44Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Continuously Learning New Words in Automatic Speech Recognition [56.972851337263755]
  本稿では,新たな単語認識のための自己教師付き連続学習手法を提案する。 過去の研究から,メモリ拡張型自動音声認識モデルを用いた。 提案手法により,新たな単語の出現頻度が高くなると,新たな単語のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-01-09T10:39:17Z)
• POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models [62.23255433487586]
  モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。 本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
  論文  参考訳（メタデータ） (2023-04-29T22:05:22Z)
• Selective In-Context Data Augmentation for Intent Detection using Pointwise V-Information [100.03188187735624]
  PLMとPVI(pointwise V-information)に基づく新しい手法を導入し,モデル学習におけるデータポイントの有用性を計測する。 提案手法はまず,学習データの小さなシード上でPLMを微調整し,与えられた意図に対応する発話を新たに生成する。 そこで本手法は,大規模言語モデルの表現力を活用し,多様な学習データを生成する。
  論文  参考訳（メタデータ） (2023-02-10T07:37:49Z)
• New Intent Discovery with Pre-training and Contrastive Learning [21.25371293641141]
  新しい意図発見は、ユーザ発話から新しい意図カテゴリーを明らかにして、サポート対象クラスのセットを拡張することを目的としている。 既存のアプローチは通常、大量のラベル付き発話に依存する。 本稿では,クラスタリングのためのラベルなしデータにおける自己超越的信号を活用するために,新たなコントラスト損失を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:07:25Z)
• Learning to Prompt for Vision-Language Models [82.25005817904027]
  視覚言語による事前学習が表現学習の有望な代替手段として登場した。 画像と離散ラベルを使って、視覚的な概念と見なされる一連の重みを学習する伝統から、2つの異なるエンコーダのための画像と生のテキストの整列へと移行する。 このようなパラダイムは、より広範な監視源の恩恵を受け、下流タスクへのゼロショット転送を可能にします。
  論文  参考訳（メタデータ） (2021-09-02T17:57:31Z)
• Continuous representations of intents for dialogue systems [10.031004070657122]
  最近まで、焦点は固定された、離散的な多くの意図を検出することであった。 近年,ゼロショット学習の文脈において,無意識の意図検出に関するいくつかの研究が行われている。 本稿では,専門家のIntent Spaceに意図を連続的に配置する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-08T15:08:20Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。