論文の概要: Generating Hard-Negative Out-of-Scope Data with ChatGPT for Intent Classification

• arxiv url: http://arxiv.org/abs/2403.05640v1
• Date: Fri, 8 Mar 2024 19:25:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 13:01:06.405073
• Title: Generating Hard-Negative Out-of-Scope Data with ChatGPT for Intent Classification
• Title（参考訳）: chatgptを用いた意図分類のためのハードネガティブなスコープ外データの生成
• Authors: Zhijian Li, Stefan Larson, Kevin Leach
• Abstract要約: 本稿では,ChatGPTを用いた強陰性OOSデータの自動生成手法を提案する。 分類器は、一般的なOOS発声よりも、強い負のOOS発声を正しく識別することが困難であることを示す。 最後に,OOSデータと一般的なOOSデータを検出する際のモデルロバスト性を向上することを示す。
• 参考スコア（独自算出の注目度）: 8.013995844494456
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Intent classifiers must be able to distinguish when a user's utterance does not belong to any supported intent to avoid producing incorrect and unrelated system responses. Although out-of-scope (OOS) detection for intent classifiers has been studied, previous work has not yet studied changes in classifier performance against hard-negative out-of-scope utterances (i.e., inputs that share common features with in-scope data, but are actually out-of-scope). We present an automated technique to generate hard-negative OOS data using ChatGPT. We use our technique to build five new hard-negative OOS datasets, and evaluate each against three benchmark intent classifiers. We show that classifiers struggle to correctly identify hard-negative OOS utterances more than general OOS utterances. Finally, we show that incorporating hard-negative OOS data for training improves model robustness when detecting hard-negative OOS data and general OOS data. Our technique, datasets, and evaluation address an important void in the field, offering a straightforward and inexpensive way to collect hard-negative OOS data and improve intent classifiers' robustness.
• Abstract（参考訳）: インテント分類器は、ユーザの発話がサポート対象に含まれていない場合に、不正で無関係なシステム応答の発生を避けることができる必要がある。 インテント分類器のout-of-scope (oos) 検出は研究されているが、従来の研究では、ハード負のout-of-scope 発話に対する分類器の性能の変化(すなわち、in-scope データと共通の特徴を共有し、実際にはout-of-scope である入力)は研究されていない。 本稿では,ChatGPTを用いた強陰性OOSデータの自動生成手法を提案する。 我々はこの手法を用いて、5つの新しい強陰性OOSデータセットを構築し、それぞれを3つのベンチマークインテント分類器に対して評価する。 分類器は、一般的なOOS発声よりも強い負のOOS発声を正しく識別することが困難であることを示す。 最後に,OOSデータと一般的なOOSデータを検出する際のモデルロバスト性を向上することを示す。 我々の技術、データセット、評価はこの分野における重要な空白に対処し、ハードネガティブなOOSデータを収集し、意図分類器の堅牢性を改善するための簡単で安価な方法を提供する。

関連論文リスト

• Collaborative Feature-Logits Contrastive Learning for Open-Set Semi-Supervised Object Detection [75.02249869573994]
  オープンセットのシナリオでは、ラベルなしデータセットには、イン・ディストリビューション(ID)クラスとアウト・オブ・ディストリビューション(OOD)クラスの両方が含まれている。 このような設定で半教師付き検出器を適用すると、OODクラスをIDクラスとして誤分類する可能性がある。 我々は、CFL-Detector(Collaborative Feature-Logits Detector)と呼ばれるシンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-11-20T02:57:35Z)
• A new approach for fine-tuning sentence transformers for intent classification and out-of-scope detection tasks [6.013042193107048]
  仮想アシスタントシステムでは,システムの範囲外にあるユーザクエリを拒否あるいはリダイレクトすることが重要である。 スコープ外拒否(OOS)の最も正確なアプローチの1つは、スコープ内クエリにおける意図分類のタスクと組み合わせることである。 本研究は,自己エンコーダを用いて学習した顕微鏡内埋め込み型再構成損失を用いて,クロスエントロピー損失を正規化することを提案する。
  論文  参考訳（メタデータ） (2024-10-17T15:15:12Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• A new data augmentation method for intent classification enhancement and its application on spoken conversation datasets [23.495743195811375]
  本稿では,Nearest Neighbors Scores Improvement (NNSI)アルゴリズムを提案する。 NNSIは、高度に曖昧なサンプルを自動的に選択し、それらを高精度にラベルすることで、手動ラベリングの必要性を減らす。 2つの大規模実生活音声対話システムにおけるNNSIの使用を実演した。
  論文  参考訳（メタデータ） (2022-02-21T11:36:19Z)
• GOLD: Improving Out-of-Scope Detection in Dialogues using Data Augmentation [41.04593978694591]
  金のテクニックは、既存のデータを拡張して、低データ状態で動作するより良いOOS検出器を訓練する。 3つのベンチマークを対象とした実験では、上位のGOLDモデルは、すべての主要なメトリクスで既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-09-07T13:35:03Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Are Pretrained Transformers Robust in Intent Classification? A Missing Ingredient in Evaluation of Out-of-Scope Intent Detection [93.40525251094071]
  まず、少数ショットの意図認識タスクにおいて、ドメイン内スコープ外検出の重要性を指摘する。 次に、ドメイン内だがスコープ外(ID-OOS)であるサンプルに対して、事前訓練したTransformerベースのモデルの脆弱性を説明する。
  論文  参考訳（メタデータ） (2021-06-08T17:51:12Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。