論文の概要: A new approach for fine-tuning sentence transformers for intent classification and out-of-scope detection tasks

• arxiv url: http://arxiv.org/abs/2410.13649v2
• Date: Sat, 19 Oct 2024 06:44:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:34.441149
• Title: A new approach for fine-tuning sentence transformers for intent classification and out-of-scope detection tasks
• Title（参考訳）: 意図分類とスコープ外検出タスクのための微調整文変換器の新手法
• Authors: Tianyi Zhang, Atta Norouzian, Aanchan Mohan, Frederick Ducatelle,
• Abstract要約: 仮想アシスタントシステムでは,システムの範囲外にあるユーザクエリを拒否あるいはリダイレクトすることが重要である。 スコープ外拒否(OOS)の最も正確なアプローチの1つは、スコープ内クエリにおける意図分類のタスクと組み合わせることである。 本研究は,自己エンコーダを用いて学習した顕微鏡内埋め込み型再構成損失を用いて,クロスエントロピー損失を正規化することを提案する。
• 参考スコア（独自算出の注目度）: 6.013042193107048
• License:
• Abstract: In virtual assistant (VA) systems it is important to reject or redirect user queries that fall outside the scope of the system. One of the most accurate approaches for out-of-scope (OOS) rejection is to combine it with the task of intent classification on in-scope queries, and to use methods based on the similarity of embeddings produced by transformer-based sentence encoders. Typically, such encoders are fine-tuned for the intent-classification task, using cross-entropy loss. Recent work has shown that while this produces suitable embeddings for the intent-classification task, it also tends to disperse in-scope embeddings over the full sentence embedding space. This causes the in-scope embeddings to potentially overlap with OOS embeddings, thereby making OOS rejection difficult. This is compounded when OOS data is unknown. To mitigate this issue our work proposes to regularize the cross-entropy loss with an in-scope embedding reconstruction loss learned using an auto-encoder. Our method achieves a 1-4% improvement in the area under the precision-recall curve for rejecting out-of-sample (OOS) instances, without compromising intent classification performance.
• Abstract（参考訳）: 仮想アシスタント(VA)システムでは、システムの範囲外にあるユーザクエリを拒否またはリダイレクトすることが重要である。 スコープ外拒絶(OOS)の最も正確なアプローチの1つは、スコープ内クエリの意図分類タスクと組み合わせ、トランスフォーマーベースの文エンコーダによって生成された埋め込みの類似性に基づいた手法を使用することである。 典型的には、そのようなエンコーダは、クロスエントロピー損失を用いて、インテント分類タスクのために微調整される。 近年の研究では,本手法が意図分類作業に適した埋め込みを生成する一方で,全文埋め込み空間上に顕微鏡内埋め込みを分散させる傾向があることが示されている。 これにより、顕微鏡内埋め込みがOOS埋め込みと重複する可能性があるため、OOS拒絶が難しくなる。 これはOOSデータが不明な場合に合成される。 この問題を緩和するために,本研究では,オートエンコーダを用いて学習した再構成損失を顕微鏡内埋め込みすることで,クロスエントロピー損失を正規化することを提案する。 提案手法は,OOS(out-of-sample)インスタンスを拒否する精度-リコール曲線の下で,意図的分類性能を損なうことなく,領域を1～4%改善する。

関連論文リスト

• Improved Out-of-Scope Intent Classification with Dual Encoding and Threshold-based Re-Classification [6.975902383951604]
  現在の手法は、予測不可能なアウトリーチ分布で困難に直面している。 本稿では,これらの課題に対処するため,Dual for Threshold-Based Re-Classification (DETER)を提案する。 我々のモデルは以前のベンチマークより優れており、未知のインテントに対するF1スコアの13%と5%に向上しています。
  論文  参考訳（メタデータ） (2024-05-30T11:46:42Z)
• Generating Hard-Negative Out-of-Scope Data with ChatGPT for Intent Classification [8.013995844494456]
  本稿では,ChatGPTを用いた強陰性OOSデータの自動生成手法を提案する。 分類器は、一般的なOOS発声よりも、強い負のOOS発声を正しく識別することが困難であることを示す。 最後に,OOSデータと一般的なOOSデータを検出する際のモデルロバスト性を向上することを示す。
  論文  参考訳（メタデータ） (2024-03-08T19:25:00Z)
• Task-Oriented Over-the-Air Computation for Multi-Device Edge AI [57.50247872182593]
  エッジAIをサポートするための6Gネットワークは、AIタスクの効率的かつ効率的な実行に焦点を当てたタスク指向のテクニックを備えている。 本稿では,マルチデバイススプリット推論システムにおけるタスク指向オーバー・ザ・エア計算(AirComp)方式を提案する。
  論文  参考訳（メタデータ） (2022-11-02T16:35:14Z)
• Rethinking Reconstruction Autoencoder-Based Out-of-Distribution Detection [0.0]
  リコンストラクションオートエンコーダに基づく手法は、入力再構成誤差を新規性対正規性の計量として用いることでこの問題に対処する。 本稿では, 意味的再構成, データの確実性分解, 正規化L2距離を導入し, 元の手法を大幅に改善する。 提案手法は,追加データや実装の困難さ,時間を要するパイプライン,さらには既知のクラスの分類精度を損なうことなく機能する。
  論文  参考訳（メタデータ） (2022-03-04T09:04:55Z)
• Out-of-Scope Intent Detection with Self-Supervision and Discriminative Training [20.242645823965145]
  タスク指向対話システムにおいて、スコープ外インテント検出は実用上重要である。 本稿では,テストシナリオをシミュレートして,スコープ外インテント分類器をエンドツーエンドに学習する手法を提案する。 提案手法を4つのベンチマーク・ダイアログ・データセット上で広範囲に評価し,最先端のアプローチに対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2021-06-16T08:17:18Z)
• Are Pretrained Transformers Robust in Intent Classification? A Missing Ingredient in Evaluation of Out-of-Scope Intent Detection [93.40525251094071]
  まず、少数ショットの意図認識タスクにおいて、ドメイン内スコープ外検出の重要性を指摘する。 次に、ドメイン内だがスコープ外(ID-OOS)であるサンプルに対して、事前訓練したTransformerベースのモデルの脆弱性を説明する。
  論文  参考訳（メタデータ） (2021-06-08T17:51:12Z)
• Revisiting Mahalanobis Distance for Transformer-Based Out-of-Domain Detection [60.88952532574564]
  本稿では,ドメイン外インテント検出手法を徹底的に比較する。 意図分類のための3つの標準データセット上で,複数のコンテキストエンコーダとメソッドを効率良く評価する。 本研究の主目的は,超微調整トランスフォーマーを用いたドメイン内データエンコーダが優れた結果をもたらすことである。
  論文  参考訳（メタデータ） (2021-01-11T09:10:58Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)
• Scope Head for Accurate Localization in Object Detection [135.9979405835606]
  本研究では,各位置のアンカーを相互依存関係としてモデル化したScopeNetと呼ばれる新しい検出器を提案する。 我々の簡潔で効果的な設計により、提案したScopeNetはCOCOの最先端の成果を達成する。
  論文  参考訳（メタデータ） (2020-05-11T04:00:09Z)
• Solving Missing-Annotation Object Detection with Background Recalibration Loss [49.42997894751021]
  本稿では,新しい,かつ困難な検出シナリオに焦点を当てる。 真のオブジェクト/インスタンスの大部分は,データセットにラベル付けされていない。 従来, ソフトサンプリングを用いて, 正の例と重なり合うRoIsの勾配を再重み付けする手法が提案されてきた。 本稿では、予め定義されたIoU閾値と入力画像に基づいて損失信号を自動的に校正できる、バックグラウンド校正損失(BRL)と呼ばれる優れた解を提案する。
  論文  参考訳（メタデータ） (2020-02-12T23:11:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。