論文の概要: Out-of-Scope Intent Detection with Self-Supervision and Discriminative Training

• arxiv url: http://arxiv.org/abs/2106.08616v2
• Date: Thu, 17 Jun 2021 09:25:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 11:55:50.094633
• Title: Out-of-Scope Intent Detection with Self-Supervision and Discriminative Training
• Title（参考訳）: 自己スーパービジョンと判別訓練によるスコープ外インテント検出
• Authors: Li-Ming Zhan, Haowen Liang, Bo Liu, Lu Fan, Xiao-Ming Wu, Albert Y.S. Lam
• Abstract要約: タスク指向対話システムにおいて、スコープ外インテント検出は実用上重要である。 本稿では,テストシナリオをシミュレートして,スコープ外インテント分類器をエンドツーエンドに学習する手法を提案する。 提案手法を4つのベンチマーク・ダイアログ・データセット上で広範囲に評価し,最先端のアプローチに対する大幅な改善を観察する。
• 参考スコア（独自算出の注目度）: 20.242645823965145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-scope intent detection is of practical importance in task-oriented dialogue systems. Since the distribution of outlier utterances is arbitrary and unknown in the training stage, existing methods commonly rely on strong assumptions on data distribution such as mixture of Gaussians to make inference, resulting in either complex multi-step training procedures or hand-crafted rules such as confidence threshold selection for outlier detection. In this paper, we propose a simple yet effective method to train an out-of-scope intent classifier in a fully end-to-end manner by simulating the test scenario in training, which requires no assumption on data distribution and no additional post-processing or threshold setting. Specifically, we construct a set of pseudo outliers in the training stage, by generating synthetic outliers using inliner features via self-supervision and sampling out-of-scope sentences from easily available open-domain datasets. The pseudo outliers are used to train a discriminative classifier that can be directly applied to and generalize well on the test task. We evaluate our method extensively on four benchmark dialogue datasets and observe significant improvements over state-of-the-art approaches. Our code has been released at https://github.com/liam0949/DCLOOS.
• Abstract（参考訳）: タスク指向対話システムでは、スコープ外意図検出が実用上重要である。 外乱発話の分布は訓練段階では任意で未知であるため、既存の手法はガウスの混合のようなデータ分布に対する強い仮定に依存しており、複雑な多段階の訓練手順や、外乱検出のための信頼しきい値選択のような手作りの規則がある。 本稿では,データ分散を前提とせず,余分な後処理やしきい値設定を必要とせず,テストシナリオをシミュレートすることで,スコープ外インテント分類器を完全にエンドツーエンドに訓練する簡単な方法を提案する。 具体的には、インライナー特徴を用いたインライナー特徴を用いた合成アウトレーラを生成し、容易に利用可能なオープンドメインデータセットからスコープ外文をサンプリングすることにより、トレーニング段階で擬似アウトレーラのセットを構築する。 擬似外乱器は、テストタスクに直接適用および一般化可能な識別分類器を訓練するために使用される。 提案手法を4つのベンチマーク・ダイアログ・データセット上で広範囲に評価し,最先端のアプローチに対する大幅な改善を観察する。 私たちのコードはhttps://github.com/liam0949/DCLOOSでリリースされています。

関連論文リスト

• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Quantile-based Maximum Likelihood Training for Outlier Detection [5.902139925693801]
  我々は,推定時の外乱分離を改善するために,不整合分布を学習するための量子化に基づく最大極大目標を提案する。 本手法は, 事前学習した識別特徴に正規化フローを適合させ, 評価されたログ類似度に応じて異常値を検出する。
  論文  参考訳（メタデータ） (2023-08-20T22:27:54Z)
• DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers [21.741026088202126]
  そこで本研究では,いくつかのトレーニングサンプルを用いて,事前学習したモデルのロバスト性を証明する新しい手法を提案する。 提案手法は,各トレーニングサンプルに対応するクラス境界および補間標本を生成する。 複数のベンチマークデータセットのベースラインに対する大幅な改善と、課題のあるブラックボックス設定の下でも同様のパフォーマンスを報告しています。
  論文  参考訳（メタデータ） (2022-10-17T10:41:18Z)
• Self-Training: A Survey [5.772546394254112]
  半教師付きアルゴリズムは、ラベル付き観測の小さなセットとラベルなし観測の大きなセットから予測関数を学習することを目的としている。 近年,自己学習手法が注目されていることは確かである。 本稿では,バイナリクラスとマルチクラス分類のための自己学習手法と,その変種と関連する2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-24T11:40:44Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)
• Improved Robustness to Open Set Inputs via Tempered Mixup [37.98372874213471]
  本稿では,背景データセットを使わずにオープンセットのロバスト性を向上する簡単な正規化手法を提案する。 提案手法は,オープンセット分類ベースラインにおける最先端の成果を達成し,大規模オープンセット分類問題に容易にスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T04:01:31Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Hybrid Models for Open Set Recognition [28.62025409781781]
  オープンセット認識は、トレーニングセット内のどのクラスにも属さないサンプルを検出するために分類器を必要とする。 本稿では,入力データを結合埋め込み空間にエンコードするエンコーダと,サンプルを不整クラスに分類する分類器と,フローベース密度推定器からなるOpenHybridを提案する。 標準オープンセットベンチマークの実験では、エンドツーエンドの訓練されたOpenHybridモデルは最先端の手法やフローベースのベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2020-03-27T16:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。