論文の概要: Benchmarking Intent Detection for Task-Oriented Dialog Systems
- arxiv url: http://arxiv.org/abs/2012.03929v1
- Date: Mon, 7 Dec 2020 18:58:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 21:30:03.282971
- Title: Benchmarking Intent Detection for Task-Oriented Dialog Systems
- Title（参考訳）: タスク指向対話システムのベンチマークインテント検出
- Authors: Haode Qi, Lin Pan, Atin Sood, Abhishek Shah, Ladislav Kunc, Saloni
Potdar
- Abstract要約: Intent Detectionは、ユーザのテキスト入力の意図を予測してユーザタスクを達成する、現代の目標指向のダイアログシステムの鍵となるコンポーネントである。
堅牢で正確な意図検出モデルの設計には3つの大きな課題がある。
その結果,watson assistantの意図検出モデルは,他の商用ソリューションよりも優れていることがわかった。
- 参考スコア（独自算出の注目度）: 6.54201796167054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intent detection is a key component of modern goal-oriented dialog systems
that accomplish a user task by predicting the intent of users' text input.
There are three primary challenges in designing robust and accurate intent
detection models. First, typical intent detection models require a large amount
of labeled data to achieve high accuracy. Unfortunately, in practical scenarios
it is more common to find small, unbalanced, and noisy datasets. Secondly, even
with large training data, the intent detection models can see a different
distribution of test data when being deployed in the real world, leading to
poor accuracy. Finally, a practical intent detection model must be
computationally efficient in both training and single query inference so that
it can be used continuously and re-trained frequently. We benchmark intent
detection methods on a variety of datasets. Our results show that Watson
Assistant's intent detection model outperforms other commercial solutions and
is comparable to large pretrained language models while requiring only a
fraction of computational resources and training data. Watson Assistant
demonstrates a higher degree of robustness when the training and test
distributions differ.
- Abstract（参考訳）: Intent Detectionは、ユーザのテキスト入力の意図を予測してユーザタスクを達成する、現代の目標指向対話システムのキーコンポーネントである。
堅牢で正確な意図検出モデルの設計には3つの大きな課題がある。
第一に、典型的な意図検出モデルは高い精度を達成するために大量のラベル付きデータを必要とする。
残念ながら、現実的なシナリオでは、小さく、不均衡でノイズの多いデータセットを見つけることが一般的である。
第二に、大規模なトレーニングデータであっても、インテント検出モデルは、実世界へのデプロイ時に異なるテストデータの分布を見ることができるため、精度が低下する。
最後に、実用的な意図検出モデルは、トレーニングと単一クエリ推論の両方において計算効率が高くなければならない。
様々なデータセット上でインテント検出手法をベンチマークする。
その結果、Watson Assistantの意図検出モデルは、他の商用ソリューションよりも優れており、計算資源とトレーニングデータのみを必要としながら、大規模な事前学習言語モデルに匹敵することがわかった。
Watson Assistantは、トレーニングとテストの分布が異なる場合、より高度な堅牢性を示す。
関連論文リスト
- Learning 3D Perception from Others' Predictions [64.09115694891679]
本研究では,3次元物体検出装置を構築するための新たなシナリオについて検討する。
例えば、自動運転車が新しいエリアに入ると、その領域に最適化された検出器を持つ他の交通参加者から学ぶことができる。
論文 参考訳（メタデータ） (2024-10-03T16:31:28Z) - Generalized Few-Shot 3D Object Detection of LiDAR Point Cloud for
Autonomous Driving [91.39625612027386]
我々は,一般的な(ベース)オブジェクトに対して大量のトレーニングデータを持つが,レア(ノーベル)クラスに対してはごく少数のデータしか持たない,一般化された数発の3Dオブジェクト検出という新しいタスクを提案する。
具体的には、画像と点雲の奥行きの違いを分析し、3D LiDARデータセットにおける少数ショット設定の実践的原理を示す。
この課題を解決するために,既存の3次元検出モデルを拡張し,一般的なオブジェクトと稀なオブジェクトの両方を認識するためのインクリメンタルな微調整手法を提案する。
論文 参考訳（メタデータ） (2023-02-08T07:11:36Z) - Reinforcement Guided Multi-Task Learning Framework for Low-Resource
Stereotype Detection [3.7223111129285096]
ステレオタイプ検出」データセットは主に、大規模な事前学習言語モデルに対する診断アプローチを採用している。
信頼できるデータセットに注釈をつけるには、テキストでステレオタイプがどのように現れるかという微妙なニュアンスを正確に理解する必要がある。
我々は「ステレオタイプ検出」における経験的性能を改善するために、データ豊富な隣接タスクの多元性を活用するマルチタスクモデルを提案する。
論文 参考訳（メタデータ） (2022-03-27T17:16:11Z) - Out-of-Scope Intent Detection with Self-Supervision and Discriminative
Training [20.242645823965145]
タスク指向対話システムにおいて、スコープ外インテント検出は実用上重要である。
本稿では,テストシナリオをシミュレートして,スコープ外インテント分類器をエンドツーエンドに学習する手法を提案する。
提案手法を4つのベンチマーク・ダイアログ・データセット上で広範囲に評価し,最先端のアプローチに対する大幅な改善を観察する。
論文 参考訳（メタデータ） (2021-06-16T08:17:18Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Generalized Zero-shot Intent Detection via Commonsense Knowledge [5.398580049917152]
学習データ不足の問題を克服するために,教師なしの方法でコモンセンス知識を活用する意図検出モデル RIDE を提案する。
RIDEは、発話と意図ラベルの間の深い意味的関係をキャプチャする、堅牢で一般化可能な関係メタ機能を計算する。
広範に使用されている3つのインテント検出ベンチマークに関する広範囲な実験的分析により、関係メタ機能により、目に見えないインテントと見えないインテントの両方を検出する精度が著しく向上することが示された。
論文 参考訳（メタデータ） (2021-02-04T23:36:41Z) - Discriminative Nearest Neighbor Few-Shot Intent Detection by
Transferring Natural Language Inference [150.07326223077405]
データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。
深部自己注意を伴う識別的近傍分類を提示する。
自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
論文 参考訳（メタデータ） (2020-10-25T00:39:32Z) - Intent Detection with WikiHow [28.28719498563396]
私たちのモデルは、wikiHowでトレーニングされているため、多くのアクションから幅広い目的を予測できます。
我々のモデルは、Snipsデータセット、Guided Dialogueデータセット、およびFacebookの多言語ダイアログデータセットの3つの言語で最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-12T12:53:47Z) - Efficient Intent Detection with Dual Sentence Encoders [53.16532285820849]
本稿では,USE や ConveRT などの事前訓練された二重文エンコーダによるインテント検出手法を提案する。
提案するインテント検出器の有用性と適用性を示し,完全なBERT-Largeモデルに基づくインテント検出器よりも優れた性能を示す。
コードだけでなく、新しい挑戦的な単一ドメイン意図検出データセットもリリースしています。
論文 参考訳（メタデータ） (2020-03-10T15:33:54Z) - Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。
マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。
このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
論文 参考訳（メタデータ） (2020-01-06T13:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。