論文の概要: Efficient Intent Detection with Dual Sentence Encoders
- arxiv url: http://arxiv.org/abs/2003.04807v1
- Date: Tue, 10 Mar 2020 15:33:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 21:02:20.713278
- Title: Efficient Intent Detection with Dual Sentence Encoders
- Title(参考訳): デュアルセンスエンコーダを用いた効率的なインテント検出
- Authors: I\~nigo Casanueva, Tadas Tem\v{c}inas, Daniela Gerz, Matthew
Henderson, Ivan Vuli\'c
- Abstract要約: 本稿では,USE や ConveRT などの事前訓練された二重文エンコーダによるインテント検出手法を提案する。
提案するインテント検出器の有用性と適用性を示し,完全なBERT-Largeモデルに基づくインテント検出器よりも優れた性能を示す。
コードだけでなく、新しい挑戦的な単一ドメイン意図検出データセットもリリースしています。
- 参考スコア(独自算出の注目度): 53.16532285820849
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Building conversational systems in new domains and with added functionality
requires resource-efficient models that work under low-data regimes (i.e., in
few-shot setups). Motivated by these requirements, we introduce intent
detection methods backed by pretrained dual sentence encoders such as USE and
ConveRT. We demonstrate the usefulness and wide applicability of the proposed
intent detectors, showing that: 1) they outperform intent detectors based on
fine-tuning the full BERT-Large model or using BERT as a fixed black-box
encoder on three diverse intent detection data sets; 2) the gains are
especially pronounced in few-shot setups (i.e., with only 10 or 30 annotated
examples per intent); 3) our intent detectors can be trained in a matter of
minutes on a single CPU; and 4) they are stable across different hyperparameter
settings. In hope of facilitating and democratizing research focused on
intention detection, we release our code, as well as a new challenging
single-domain intent detection dataset comprising 13,083 annotated examples
over 77 intents.
- Abstract(参考訳): 新しいドメインと追加機能で会話システムを構築するには、低データ状態下で動くリソース効率のモデルが必要となる。
これらの要件により、USEやConveRTのような事前訓練された二重文エンコーダによるインテント検出手法を導入する。
提案するインテント検出器の有用性と幅広い適用性を示す。
1 目的検出装置は、完全なBERTラージモデルを微調整し、又は三種類の目的検出データセットの固定ブラックボックスエンコーダとしてBERTを使用する。
2 利得は、特に少額の設定で発音される(すなわち、意図ごとの注記例が10又は30件のみである)。
3)我々の意図検出器は,1つのcpu上で数分で訓練することができる。
4) 異なるハイパーパラメータ設定で安定している。
意図検出に焦点をあてた研究の促進と民主化を期待し、コードをリリースし、77以上のインテントに注釈付き例を含む、新たな挑戦的な1ドメインインテント検出データセットをリリースします。
関連論文リスト
- All Labels Together: Low-shot Intent Detection with an Efficient Label
Semantic Encoding Paradigm [48.02790193676742]
インテント検出タスクでは、インテントラベルから意味のあるセマンティック情報を活用することは、いくつかのシナリオで特に有用である。
本稿では,全てのラベル候補に対する入力音声の比較が可能なエンドツーエンドのワン・ツー・オールシステムを提案する。
数発のインテント検出タスクの実験では、トレーニングリソースが極めて少ない場合、One-to-Allが特に有効であることが示されている。
論文 参考訳(メタデータ) (2023-09-07T08:50:45Z) - Task Conditioned BERT for Joint Intent Detection and Slot-filling [4.564638655448509]
本稿では,これらの課題を一つの統一モデルとして解決することで,異なるタスク間でパラメータ支援データの転送が可能になるという仮説を考察する。
提案した原理モデルはTransformerエンコーダに基づいており、複数のタスクで訓練され、ターゲットの推論にモデルを条件付けるリッチな入力によって活用される。
論文 参考訳(メタデータ) (2023-08-11T14:47:27Z) - Generalized Few-Shot 3D Object Detection of LiDAR Point Cloud for
Autonomous Driving [91.39625612027386]
我々は,一般的な(ベース)オブジェクトに対して大量のトレーニングデータを持つが,レア(ノーベル)クラスに対してはごく少数のデータしか持たない,一般化された数発の3Dオブジェクト検出という新しいタスクを提案する。
具体的には、画像と点雲の奥行きの違いを分析し、3D LiDARデータセットにおける少数ショット設定の実践的原理を示す。
この課題を解決するために,既存の3次元検出モデルを拡張し,一般的なオブジェクトと稀なオブジェクトの両方を認識するためのインクリメンタルな微調整手法を提案する。
論文 参考訳(メタデータ) (2023-02-08T07:11:36Z) - Few-Shot Intent Detection via Contrastive Pre-Training and Fine-Tuning [27.154414939086426]
コントラスト付き事前学習と微調整を併用した簡易かつ効果的に数発のインテント検出方式を提案する。
まず、収集した意図データセットに基づいて、自己教師付きコントラスト事前学習を行い、意味論的に類似した発話を識別することを暗黙的に学習する。
次に、教師付きコントラスト学習とともに、数発のインテント検出を行い、同じインテントから発声を明示的に引き出す。
論文 参考訳(メタデータ) (2021-09-13T22:28:58Z) - Are Pretrained Transformers Robust in Intent Classification? A Missing
Ingredient in Evaluation of Out-of-Scope Intent Detection [93.40525251094071]
まず、少数ショットの意図認識タスクにおいて、ドメイン内スコープ外検出の重要性を指摘する。
次に、ドメイン内だがスコープ外(ID-OOS)であるサンプルに対して、事前訓練したTransformerベースのモデルの脆弱性を説明する。
論文 参考訳(メタデータ) (2021-06-08T17:51:12Z) - Benchmarking Intent Detection for Task-Oriented Dialog Systems [6.54201796167054]
Intent Detectionは、ユーザのテキスト入力の意図を予測してユーザタスクを達成する、現代の目標指向のダイアログシステムの鍵となるコンポーネントである。
堅牢で正確な意図検出モデルの設計には3つの大きな課題がある。
その結果,watson assistantの意図検出モデルは,他の商用ソリューションよりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-12-07T18:58:57Z) - Learning Disentangled Intent Representations for Zero-shot Intent
Detection [13.19024497857648]
DIR(Disentangled Representations)を学習するために、見知らぬクラスラベルを利用するクラス変換フレームワークを提案する。
本枠組みでは,意図の区別をモデルが学習することを奨励するマルチタスク学習の目標を提案する。
2つの実世界のデータセットの実験は、提案されたフレームワークがベースラインシステムに一貫した改善をもたらすことを示している。
論文 参考訳(メタデータ) (2020-12-03T06:41:09Z) - Discriminative Nearest Neighbor Few-Shot Intent Detection by
Transferring Natural Language Inference [150.07326223077405]
データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。
深部自己注意を伴う識別的近傍分類を提示する。
自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
論文 参考訳(メタデータ) (2020-10-25T00:39:32Z) - EHSOD: CAM-Guided End-to-end Hybrid-Supervised Object Detection with
Cascade Refinement [53.69674636044927]
本稿では,エンド・ツー・エンドのハイブリッド型オブジェクト検出システムであるEHSODについて述べる。
完全なアノテートと弱いアノテートの両方で、ワンショットでトレーニングすることができる。
完全なアノテートされたデータの30%しか持たない複数のオブジェクト検出ベンチマークで、同等の結果が得られる。
論文 参考訳(メタデータ) (2020-02-18T08:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。