論文の概要: Exploring Zero and Few-shot Techniques for Intent Classification

• arxiv url: http://arxiv.org/abs/2305.07157v1
• Date: Thu, 11 May 2023 22:07:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 14:25:22.441623
• Title: Exploring Zero and Few-shot Techniques for Intent Classification
• Title（参考訳）: インテント分類におけるゼロ・ファウショット手法の探索
• Authors: Soham Parikh, Quaizar Vohra, Prashil Tumbade, Mitul Tiwari
• Abstract要約: 会話型NLUプロバイダは、数千の意図分類モデルにスケールする必要があることが多い。 本稿では,この低リソース制約を用いた4つの異なるゼロと少数ショットの意図分類手法について検討する。
• 参考スコア（独自算出の注目度）: 4.645378725672337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational NLU providers often need to scale to thousands of intent-classification models where new customers often face the cold-start problem. Scaling to so many customers puts a constraint on storage space as well. In this paper, we explore four different zero and few-shot intent classification approaches with this low-resource constraint: 1) domain adaptation, 2) data augmentation, 3) zero-shot intent classification using descriptions large language models (LLMs), and 4) parameter-efficient fine-tuning of instruction-finetuned language models. Our results show that all these approaches are effective to different degrees in low-resource settings. Parameter-efficient fine-tuning using T-few recipe (Liu et al., 2022) on Flan-T5 (Chang et al., 2022) yields the best performance even with just one sample per intent. We also show that the zero-shot method of prompting LLMs using intent descriptions
• Abstract（参考訳）: 会話型NLUプロバイダは、新しい顧客がコールドスタート問題に直面する場合、数千のインテント分類モデルにスケールする必要があることが多い。 多くの顧客へのスケーリングは、ストレージスペースにも制約を与えます。 本稿では,この低リソース制約を用いた4つの異なるゼロと少数ショットの意図分類手法について検討する。 1)ドメイン適応 2)データ拡張 3)記述型大言語モデル(llm)を用いたゼロショット意図分類 4) パラメータ効率のよい言語モデルの微調整。 その結果,これらの手法はすべて低リソース環境において異なる程度に有効であることがわかった。 Flan-T5 (Chang et al., 2022) 上の T-few レシピ (Liu et al., 2022) を用いたパラメータ効率の良い微調整では, インテント当たりのサンプルが1つでも最高の性能が得られる。 また,意図記述を用いたllmを促すゼロショット方式も示す。

関連論文リスト

• Generate then Refine: Data Augmentation for Zero-shot Intent Detection [5.257115841810258]
  ゼロリソース領域におけるインテント検出のためのデータ拡張手法を提案する。 我々は、ゼロショット設定でオープンソースの大言語モデルを用いて、意図ラベルに対する発話を生成する。 第2に、生成された発話を改善するために、より小さなシーケンス・ツー・シーケンス・モデルを開発する。
  論文  参考訳（メタデータ） (2024-10-02T18:56:03Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• BYOC: Personalized Few-Shot Classification with Co-Authored Class Descriptions [2.076173115539025]
  LLMを用いた少数ショットテキスト分類のための新しい手法を提案する。 わずかな例ではなく、LLMは各クラスの健全な特徴を記述して誘導される。 例、質問、回答は、分類プロンプトを形成するために要約される。
  論文  参考訳（メタデータ） (2023-10-09T19:37:38Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Zero-Shot Learners for Natural Language Understanding via a Unified Multiple Choice Perspective [26.41585967095811]
  ゼロショット学習は、与えられたタスクでモデルをトレーニングすることを目的としており、追加のトレーニングなしで新しい学習タスクに対処できる。 提案手法は、ゼロショット学習を複数選択タスクに変換し、FLANなどの大規模生成モデルで一般的に使用される問題を回避する。 提案手法は,いくつかのベンチマークにおいて最先端の性能を示し,自然言語推論やテキスト分類といったタスクに対して良好な結果をもたらす。
  論文  参考訳（メタデータ） (2022-10-16T17:24:06Z)
• Z-BERT-A: a zero-shot Pipeline for Unknown Intent detection [3.3135037978828263]
  トランスフォーマーアーキテクチャに基づく多言語意図探索のための2段階手法であるZero-Shot-BERT-Adaptersを提案する。 自然言語推論モデル(NLI)を訓練し、その後、複数の言語に対してゼロショット設定で未知の意図分類を行う。 Zero-Shot-BERT-Adaptersは、2つのゼロショット設定において、既知のインテント分類と目に見えないインテント発見において、さまざまなベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-15T09:27:34Z)
• SeqZero: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models [57.29358388475983]
  近年の研究では、事前訓練された言語モデルと標準発話を併用する有望な結果が示されている。 本稿では,SeqZeroという構文解析手法を提案する。 特に、SeqZeroは、提案した制約付き再スケーリングを備えたアンサンブルによって、両方のモデルのメリットを明らかにします。
  論文  参考訳（メタデータ） (2022-05-15T21:13:15Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。