論文の概要: Improved Out-of-Scope Intent Classification with Dual Encoding and Threshold-based Re-Classification

• arxiv url: http://arxiv.org/abs/2405.19967v2
• Date: Fri, 31 May 2024 08:54:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 12:59:52.456316
• Title: Improved Out-of-Scope Intent Classification with Dual Encoding and Threshold-based Re-Classification
• Title（参考訳）: Dual Encoding と Threshold を用いた再分類によるアウト・オブ・スコープのインテント分類の改善
• Authors: Hossam M. Zawbaa, Wael Rashwan, Sourav Dutta, Haytham Assem,
• Abstract要約: 現在の手法は、予測不可能なアウトリーチ分布で困難に直面している。 本稿では,これらの課題に対処するため,Dual for Threshold-Based Re-Classification (DETER)を提案する。 我々のモデルは以前のベンチマークより優れており、未知のインテントに対するF1スコアの13%と5%に向上しています。
• 参考スコア（独自算出の注目度）: 6.975902383951604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting out-of-scope user utterances is essential for task-oriented dialogues and intent classification. Current methodologies face difficulties with the unpredictable distribution of outliers and often rely on assumptions about data distributions. We present the Dual Encoder for Threshold-Based Re-Classification (DETER) to address these challenges. This end-to-end framework efficiently detects out-of-scope intents without requiring assumptions on data distributions or additional post-processing steps. The core of DETER utilizes dual text encoders, the Universal Sentence Encoder (USE) and the Transformer-based Denoising AutoEncoder (TSDAE), to generate user utterance embeddings, which are classified through a branched neural architecture. Further, DETER generates synthetic outliers using self-supervision and incorporates out-of-scope phrases from open-domain datasets. This approach ensures a comprehensive training set for out-of-scope detection. Additionally, a threshold-based re-classification mechanism refines the model's initial predictions. Evaluations on the CLINC-150, Stackoverflow, and Banking77 datasets demonstrate DETER's efficacy. Our model outperforms previous benchmarks, increasing up to 13% and 5% in F1 score for known and unknown intents on CLINC-150 and Stackoverflow, and 16% for known and 24% % for unknown intents on Banking77. The source code has been released at https://github.com/Hossam-Mohammed-tech/Intent_Classification_OOS.
• Abstract（参考訳）: タスク指向対話や意図分類には,スコープ外発話の検出が不可欠である。 現在の手法は、予測不可能なアウトレイラの分布に困難に直面し、しばしばデータ分布に関する仮定に依存している。 本稿では,これらの課題に対処するため,Threshold-Based Re-Classification (DETER) のためのデュアルエンコーダを提案する。 このエンドツーエンドフレームワークは、データ分散や追加の後処理ステップを仮定することなく、スコープ外インテントを効率的に検出する。 DETERのコアは、デュアルテキストエンコーダであるUniversal Sentence Encoder(USE)とTransformerベースのDenoising Auto Encoder(TSDAE)を使用して、分岐ニューラルネットワークアーキテクチャによって分類されたユーザ発話の埋め込みを生成する。 さらに、DETERは自己スーパービジョンを用いて合成外れ値を生成し、オープンドメインデータセットからスコープ外のフレーズを組み込む。 このアプローチは、スコープ外検出のための包括的なトレーニングセットを保証する。 さらに、しきい値に基づく再分類機構により、モデルの初期予測が洗練される。 CLINC-150、Stackoverflow、Banking77データセットの評価は、DETERの有効性を示している。 私たちのモデルは,CLINC-150とStackoverflowに関する未知の意図に対するF1スコアの13%と5%,Banding77に関する未知の意図に対する16%,不明な意図に対する24%に向上しています。 ソースコードはhttps://github.com/Hossam-Mohammed-tech/Intent_Classification_OOSで公開されている。

関連論文リスト

• Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models [84.8919069953397]
  Self-Taught Recognizer (STAR) は、音声認識システムのための教師なし適応フレームワークである。 その結果,STARは14のドメインで平均13.5%の単語誤り率の相対的な減少を実現していることがわかった。 STARは1時間以内のラベル付きデータを必要とする高いデータ効率を示す。
  論文  参考訳（メタデータ） (2024-05-23T04:27:11Z)
• UNFUSED: UNsupervised Finetuning Using SElf supervised Distillation [53.06337011259031]
  音声分類に自己教師付き学習を活用する新しい手法UnFuSeDを提案する。 エンコーダを用いて、実際の微調整ステップの前に、教師なしの微調整のための擬似ラベルを生成する。 UnFuSeDはLAPEベンチマークで最先端の結果を達成し、すべてのベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2023-03-10T02:43:36Z)
• Boosting the Discriminant Power of Naive Bayes [17.43377106246301]
  本稿では,スタックオートエンコーダを用いた特徴拡張手法を提案し,データ中のノイズを低減し,ベイズの識別力を高める。 実験結果から,提案手法は最先端のベイズ分類器よりも大きく,かつ一貫した性能を示した。
  論文  参考訳（メタデータ） (2022-09-20T08:02:54Z)
• Rethinking Reconstruction Autoencoder-Based Out-of-Distribution Detection [0.0]
  リコンストラクションオートエンコーダに基づく手法は、入力再構成誤差を新規性対正規性の計量として用いることでこの問題に対処する。 本稿では, 意味的再構成, データの確実性分解, 正規化L2距離を導入し, 元の手法を大幅に改善する。 提案手法は,追加データや実装の困難さ,時間を要するパイプライン,さらには既知のクラスの分類精度を損なうことなく機能する。
  論文  参考訳（メタデータ） (2022-03-04T09:04:55Z)
• End-to-end contextual asr based on posterior distribution adaptation for hybrid ctc/attention system [61.148549738631814]
  エンドツーエンド(E2E)音声認識アーキテクチャは、従来の音声認識システムのすべてのコンポーネントを単一のモデルに組み立てる。 これはASRシステムを単純化するが、文脈的ASRの欠点を導入している: E2Eモデルは、頻繁な固有名詞を含む発話に対して、より悪い性能を持つ。 本稿では,文脈的単語認識能力を向上させるために,文脈バイアスアテンション(CBA)モジュールをアテンションベースエンコーダデコーダ(AED)モデルに追加することを提案する。
  論文  参考訳（メタデータ） (2022-02-18T03:26:02Z)
• Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
  分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。 この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。 また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-10-12T17:58:59Z)
• Out-of-Scope Intent Detection with Self-Supervision and Discriminative Training [20.242645823965145]
  タスク指向対話システムにおいて、スコープ外インテント検出は実用上重要である。 本稿では,テストシナリオをシミュレートして,スコープ外インテント分類器をエンドツーエンドに学習する手法を提案する。 提案手法を4つのベンチマーク・ダイアログ・データセット上で広範囲に評価し,最先端のアプローチに対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2021-06-16T08:17:18Z)
• Encoding Syntactic Knowledge in Transformer Encoder for Intent Detection and Slot Filling [6.234581622120001]
  本稿では,インテント検出とスロットフィリングのための構文知識を符号化したトランスフォーマーエンコーダアーキテクチャを提案する。 シンタクティックな知識をトランスフォーマーエンコーダにエンコードし、マルチタスク学習を通じて各トークンの構文的パース祖先と部分音声を予測する。
  論文  参考訳（メタデータ） (2020-12-21T21:25:11Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。